SAM 3 文字提示分割指南848M 参数如何做到说名字就找出所有同类【免费下载链接】sam3The repository provides code for running inference and finetuning with the Meta Segment Anything Model 3 (SAM 3), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/gh_mirrors/sam/sam3SAM 3 是 Meta 开源的统一可提示分割模型支持图像和视频用一句a red backpack就能把画面里所有匹配的目标全部找出来并逐实例分割。仓库同时提供推理、微调代码和示例 notebook适合想在文字查对象任务上拿到开箱即用方案的算法工程师。输入一段文字它内部走了哪几步先看整体图片和文字都是输入检测器负责找出在哪里视频场景下再交给追踪器逐帧延续最终输出掩码、边界框和置信度分数。文字进入文本编码器变成向量图像进入视觉编码器得到特征图两者在解码阶段做交叉注意力让模型既看也读。这是检测器基于 DETR即一种通过注意力迭代查询目标位置的检测网络的条件输入。和 SAM 2 只认点、框、掩码这类几何提示不同SAM 3 的查询可以是一句短语或一个示例对象且会穷举画面中所有匹配实例——你查players场上每个人都会被切出来。一个关键设计是presence token存在性标志位。它先回答这个短语在画面里到底存不存在再去细化位置专门解决a player in white和a player in red这类语义相邻提示的混淆问题。图像链路的代码入口在 sam3/model/sam3_image_processor.py视频链路里检测器只在起始帧定位一次之后由继承自 SAM 2 的追踪器接管靠记忆机制memory保存历史帧信息的缓存跨帧传递身份遮挡后能恢复交互点选也可以中途修正。亮点以及为此付出的代价检测-追踪解耦检测器与追踪器共用视觉编码器但各自独立优化官方说法是减少任务间干扰、更容易随数据扩展。好处是视频推理比每帧重检测轻得多代价是首帧检测质量决定全程上限检测漏了追踪无从谈起。Object MultiplexSAM 3.1 引入原版视频流水线逐对象独立处理计算量随目标数线性增长。3.1 把对象分组进固定容量的桶共享记忆一起算官方报告单张 H100 上 128 个对象时约7 倍加速。机制细节见 sam3/model/video_tracking_multiplex.py。数据引擎撑起来的规模训练侧用自动标注引擎覆盖400 万 唯一概念配套的SA-Co 基准含 27 万概念比已有同类基准大 50 倍以上。规模是它泛化能力的来源但也意味着复现实验的数据成本不低。门槛848M 参数需要 CUDA 12.6 的 GPUPyTorch 2.7、Python 3.12checkpoint 托管在 Hugging Face 且需要先申请访问权限再hf auth login下载——不是 clone 下来就能跑。实际表现离人工标注还有多远图像侧SA-Co/Gold 上模型与人工的差距最直观cgF1 为官方指标衡量按概念找全实例的查准查全模型SA-Co/Gold 分割 cgF1SA-Co/Gold 检测 AP人工标注上限72.874.0OWLv224.624.5SAM 354.155.7视频侧在 YT-Temporal-1B 上 SAM 3 拿到 pHOTA 69.9人工为 78.4官方称图像任务达到人工水平相对上限的 75–80%。但取舍同样写在数字里3.1 的提速不是零成本的VOS 七个基准中 MOSEv1 从 78.4 回落到 79.6 附近波动官方也承认 SA-Co/VEval 上结果好坏参半YT-Temporal-1B 提升 2.1 cgF1。跑评测脚本在 scripts/eval/图像基准的标注协议见 scripts/eval/gold/README.md——Gold 子集由 3 名标注员独立标注评测时取对模型最有利的一份。最小上手路径git clone https://gitcode.com/gh_mirrors/sam/sam3 cd sam3 conda create -n sam3 python3.12 conda activate sam3 pip install torch2.10.0 torchvision pip install -e .[notebooks]然后在 Hugging Face 仓库申请 checkpoint 权限、登录运行jupyter notebook examples/sam3_image_predictor_example.ipynb。核心 API 就三步build_sam3_image_model()建模型、processor.set_image(image)传入图片、set_text_prompt(state, prompt)给出短语返回的masks、boxes、scores即为结果。复杂短语比如带修饰、需要多轮修正的查询可以试examples/sam3_agent.ipynb它把 SAM 3 包装成 LLM 可调用的工具链。适合谁什么时候别选它如果你在做的正是开放词汇的按文字找所有同类——图像或视频SAM 3 目前是该方向公开可用的少数完整实现之一检测、分割、追踪、微调、评测一条链都有。反过来如果只需要点一下分一个对象的经典 SAM 2 用法或者目标在 128 个以上且没有 H100 级显卡它的部署成本和追踪器架构就不划算了传统专用检测器轻量追踪的组合会更省心。【免费下载链接】sam3The repository provides code for running inference and finetuning with the Meta Segment Anything Model 3 (SAM 3), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/gh_mirrors/sam/sam3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
