【免费下载链接】DARTDetect Anything in Real Time: Real-time object detection using frontier object detection models.项目地址https://gitcode.com/gh_mirrors/dart38/DART点击查看免费下载DARTDetect Anything in Real Time是一个免训练框架把前沿模型 SAM3 变成实时多类别开放词汇目标检测器在 COCO val2017 上达成55.8 AP、单卡15.8 FPS。本文带你完整复现这套 COCO 检测评测与速度基准。 什么是 DART免训练实时目标检测传统检测器要么开集只能识别训练时见过的固定类别要么闭集速度太慢。DART 的思路很巧妙不重新训练而是把 SAM3 的视觉骨干拆出来配合 TensorRT 推理实现开放词汇想检测什么用文字告诉它person、car、dog……无需改模型。实时单张 RTX 4080 上4 个类别 1008px 可达15.8 FPS。高精度完整 ViT-H 骨干 1008pxCOCO 80 类官方协议55.8 AP。整个推理链路由两个独立的 TensorRT FP16 引擎组成通过 GPU 张量通信组件职责构建脚本延迟 (1008px)骨干(Backbone, ViT-H/14)提取图像特征scripts/export_hf_backbone.py~53 ms编码器-解码器(Enc-Dec, 66 层)结合文本与特征出框sam3/trt/export_enc_dec.py7–41 ms 文本编码器仍留在 PyTorch 里并缓存到 GPU——切换检测类别只需重算文本毫秒级不用重建引擎。 理解 55.8 AP 的官方评测协议很多看着挺准的分数其实被 NMS、置信度过滤这些后处理美化了。DART 复现的是对齐 SAM3 官方管线的评测协议核心脚本是 scripts/eval_coco_official.py其设计与 SAM3 官方的 sam3/eval/coco_eval_offline.py 保持一致。与普通评测的 4 个关键区别#做法说明1不跑 NMS原始预测直接提交给 COCOevalnms_threshold1.02不做置信度过滤提交全部检测confidence0.03不设最大检测数上限交给 COCOeval 内部处理maxDets[1,10,100]4不四舍五入分数与框保留完整浮点精度这四条正是 scripts/eval_coco_official.py#L244-L248 里predict(...)调用的关键results predictor.predict( state, confidence_threshold0.0, # No filtering — submit all detections nms_threshold1.0, # No NMS — let COCOeval handle overlaps )这样做的好处是分数干净、可复现且与官方直接可比代价是每图会提交大量原始框脚本内部仅保留 top-100 以防 OOM不影响官方口径。评测会输出哪些指标COCO 检测的标准 12 项指标DART 至少给出前 9 项指标含义mAP (AP)IoU 0.50→0.95 的平均精度最核心mAP50 / mAP75分别在 IoU0.5 / 0.75 的精度AP_S / AP_M / AP_L小 / 中 / 大目标分别的精度AR1 / AR10 / AR100每图最多取 1/10/100 框时的召回率⚙️ 评测环境准备引擎构建清单复现前先准备好料。以下是官方推荐环境在 RTX 4080 16GB、Windows 11 上验证依赖版本Python3.11torch2.7.0CUDA 12.6tensorrt10.9.0构建引擎必需numpy 2.0pycocotools评测必需Windows 可装pycocotools-windows需要的文件文件说明获取方式sam3.ptSAM3 权重首次运行自动下载val2017/COCO 验证集图像5000 张从 COCO 官网下载instances_val2017.jsonCOCO 验证集标注从 COCO 官网下载第 1 步构建共享编码器-解码器引擎一次性python -m sam3.trt.export_enc_dec --checkpoint sam3.pt \ --output enc_dec.onnx --max-classes 4 --imgsz 1008 python -m sam3.trt.build_engine --onnx enc_dec.onnx \ --output enc_dec_fp16.engine --fp16 --mixed-precision none⚠️ enc-dec 引擎务必用--mixed-precision none——自动检测启发式是针对骨干的用在编码器-解码器上是错的。第 2 步构建 ViT-H 完整骨干引擎55.8 AP 对应配置PYTHONIOENCODINGutf-8 python scripts/export_hf_backbone.py \ --image x.jpg --imgsz 1008产物为hf_backbone_1008_fp16.engine即 55.8 AP 评测所用的骨干。 Windows 用户所有脚本前都加PYTHONIOENCODINGutf-8否则会因控制台无法编码 Unicode 字符报错。 一步步复现 COCO 检测 AP方式 A官方协议一键评测推荐复现 55.8 APPYTHONIOENCODINGutf-8 python scripts/eval_coco_official.py \ --images-dir D:/val2017 \ --ann-file D:/coco2017labels/coco/annotations/instances_val2017.json \ --checkpoint sam3.pt \ --configs full_1008trt:hf_backbone_1008_fp16.engine;encdec:enc_dec_1008_c16_fp16.engine;imgsz:1008--configs用key:val;key:val描述单组配置一次可跑多组做对比Key作用trt:engine骨干 TRT 引擎省略则用 PyTorch 骨干encdec:engine编码器-解码器引擎覆盖默认imgsz:int推理分辨率mask:spec/skip:ids剪枝规格见下文权衡章节脚本会先做 3 次预热再遍历全部 5000 张图最后打印汇总表并落盘coco_eval_official_results.json。官方结果对照Full TRT FP16配置分辨率APAP50AP_SAP_Lms/图完整 TRT FP16100855.873.440.370.7225完整 TRT FP1664439.163.912.465.4105分辨率从 1008 降到 644速度近翻倍但小目标 AP_S 从 40.3 掉到 12.4——高分辨率对小物体至关重要。方式 B80 类一站式建引擎 文本缓存如果你要在全部 80 个 COCO 类别上跑可先用 scripts/build_coco_engine.py 一次性完成「导出 ONNX → 构建 TRT FP16 引擎 → 缓存 80 类文本嵌入」python scripts/build_coco_engine.py --checkpoint sam3.pt --imgsz 1008产物enc_dec_coco.onnx、enc_dec_coco_fp16_80.engine、text_cache_coco.pt。80 个类别名定义在 sam3/coco_classes.py与 pycocotools 的 category ID 严格对齐。 80 类 1008px 单次会 OOM官方建议用--max-classes 16分块预测器会自动把 80 类拆成 5 轮 × 16 类。其他两个评测脚本实例分割 mIoUGT 框引导对齐 EfficientSAM3 官方口径scripts/eval_cocoseg.py全部蒸馏学生骨干scripts/eval_all_students.py⚡ 复现 15.8 FPS 速度基准15.8 FPS 指的是4 个类别 1008px 的流水线pipelined推理。视频管线会自动用跨帧流水线骨干处理第 $t{}1$ 帧时编码器-解码器并行处理第 $t$ 帧把每帧延迟压到max(骨干, 编解码)。三类速度基准脚本场景脚本顺序 vs 流水线对比scripts/benchmark_video.py类别数 × 各骨干扫描scripts/benchmark_class_scaling.py全部学生骨干scripts/benchmark_all_students.pyFPS 随类别数变化1008px · RTX 4080 · TRT FP16类别数骨干 (ms)编解码 (ms)顺序 FPS流水线 FPS153816.318.72531115.517.64531913.815.8✅8533511.512.5⚡4 类 1008px正好落在 15 FPS若降到 644px所有测试类别数都能超过 30 FPS。️ 速度与精度的权衡选项想要更快DART 提供三条正交的降档路径可按需组合1. 换轻量学生骨干最快蒸馏出的学生骨干可替换 ViT-H实现 3–5× 骨干加速。质量换速度一览模型骨干参数量COCO AP流水线 FPSViT-H Pruned-16220M53.637.6RepViT-M2.38.2M38.755.8TinyViT-21M21M30.157.8EfficientViT-L29.2M21.762.52. 块级剪枝保留 ViT-H 质量用 scripts/analyze_block_importance.py 评估每个 block 的重要性再删除最不重要的整块比子块掩码提速更明显因为 TRT 能彻底消除这些块PYTHONIOENCODINGutf-8 python scripts/eval_coco_official.py \ --images-dir D:/val2017 \ --ann-file D:/coco2017labels/coco/annotations/instances_val2017.json \ --checkpoint sam3.pt \ --pruned-checkpoint distilled/pruned_16blocks.pt \ --configs pruned16_1008trt:hf_backbone_1008_pruned_fp16.engine;encdec:enc_dec_1008_c16_fp16.engine;imgsz:1008整块删除 16 个 block 约提速 1.8×AP 仅降约 2.2。3. 降分辨率644px 比 1008px 快约 2.5×但代价集中在小目标见上文对照表。⚠️ 常见问题排查现象原因与解法控制台 Unicode 报错Windows 下所有脚本加PYTHONIOENCODINGutf-8AssertionError: num_classesN exceeds max_classesMenc-dec 引擎--max-classes建小了用更大的值重建推理检测框全错推理--imgsz必须与导出/构建时一致骨干 cos 0.5FP16 精度崩走 HF 导出路径 scripts/export_hf_backbone.py它把注意力重构成 TRT 能正确 pattern-match 的规范形式cos 0.999换 GPU / 升级 TRT 后引擎失效TRT 引擎绑定 GPU 架构与 TRT 版本ONNX 才是可移植的——在目标机上用 sam3/trt/build_engine.py 重建 想确认自己 GPU 的 FP16 表现可跑python scripts/compare_backbone.py --checkpoint sam3.pt --image x.jpg直接对比。 关键文件速查用途路径官方协议 COCO 检测评测scripts/eval_coco_official.py标准 pycocotools COCO 评测scripts/eval_coco.py实例分割 mIoU 评测scripts/eval_cocoseg.py全部学生骨干评测scripts/eval_all_students.pyCOCO 80 类引擎 文本缓存一键构建scripts/build_coco_engine.py视频速度基准顺序 vs 流水线scripts/benchmark_video.py类别数 × 骨干扫描基准scripts/benchmark_class_scaling.py全部学生骨干基准scripts/benchmark_all_students.py骨干导出 → ONNX → TRT FP16scripts/export_hf_backbone.py编码器-解码器 ONNX 导出sam3/trt/export_enc_dec.py从 ONNX 构建 TRT 引擎sam3/trt/build_engine.py官方评测协议参考实现sam3/eval/coco_eval_offline.pyCOCO 80 类名称定义sam3/coco_classes.py项目主文档README.md✅ 小结DART把 SAM3 变成免训练、开放词汇、实时的多类别检测器官方协议下55.8 APCOCO val201780 类15.8 FPS4 类 1008px。复现关键在于对齐官方协议不跑 NMS、不做置信度过滤、不设检测上限、保留全精度——用 scripts/eval_coco_official.py 一条命令即可。速度调优有三条正交路径换轻量学生骨干、块级剪枝、降分辨率可自由组合出你需要的精度/速度甜点。 如需从源码构建仓库地址为https://gitcode.com/gh_mirrors/dart38/DARTpip install -e .会自动装好依赖。赞分享【免费下载链接】DARTDetect Anything in Real Time: Real-time object detection using frontier object detection models.项目地址https://gitcode.com/gh_mirrors/dart38/DART点击查看免费下载相关推荐Atmosphere 1.8.0 适配 Switch 19.0.04 个步骤完成升级附 2 条回退路径Atmosphere 1.8.0 适配 Switch 19.0.04 个步骤完成升级附 2 条回退路径 周五晚上把 Switch 固件升到了 19.0.0固件嵌入式操作系统系统编程yolov8-face 项目实战使用 WIDER Face 官方评估协议评测人脸检测 AP 的完整指南yolov8 face 项目实战使用 WIDER Face 官方评估协议评测人脸检测 AP 的完整指南 本篇技术指南聚焦于 yolov8 face 仓库中的人工智能计算机视觉深度学习从Model Card到评测框架如何完整复现Agents-A1-4B-FP8官方Agent评测全流程从Model Card到评测框架如何完整复现Agents A1 4B FP8官方Agent评测全流程 Agents A1 4B FP8 是 InternSci大模型多模态模型量化AI Agent工具调用本地部署上一篇ChatTTS-ui实战指南5分钟掌握本地语音合成与Web界面部署下一篇Inno Setup中文汉化终极指南3步让你的安装程序说中文创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
