SAM 3 概念分割深度拆解一句话如何把图里所有实例都切出来【免费下载链接】sam3The repository provides code for running inference and finetuning with the Meta Segment Anything Model 3 (SAM 3), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/gh_mirrors/sam/sam3想在一张图里把所有黄色衬衫都框出来却只能逐个点击SAM 3 是 Meta 开源的概念分割基础模型给一句话或一次点选它就能找出并分割全部实例图像和视频用的是同一套接口。它到底解决了什么问题SAM 3 的核心能力可以概括为一句话对文本指定的概念做穷尽式分割——不是点哪切哪而是匹配的都切出来。看三个具体场景就明白了逐个点选太慢。一张图里有 40 只企鹅用旧的交互式分割模型要点 40 次SAM 3 只需把 a penguin 作为 prompt检测器一次性给出全部实例。相似词汇容易串味。a player in white 和 a player in red 这种提示传统文本模型很容易张冠李戴。SAM 3 在解码器里引入了presence token先判断这个概念到底在不在画面里再让各 query 去定位细粒度提示的区分度明显更稳。视频里跟踪会飘。遮挡、形变、重新出现逐帧人工重选目标非常痛苦。SAM 3 的 tracker 把上一帧的 mask 延续下去检测器周期性重新检测做再校准长视频也不容易跑偏。一句话总结检测器负责一次全找出来跟踪器负责一路追下去两者共享同一个图像编码器。核心机制是怎么跑起来的整个模型 848M 参数顺着数据流看其实不难理解输入一个文本 prompt名词短语或者点、框、掩码这类视觉 prompt再加上当前帧图像。编码文本编码器把句子变成语义向量ViT 图像编码器把画面变成特征图窗口注意力搭配若干层全局注意力第 8、16、24、32 层小目标和整场景都不落下。定位检测器基于 DETR 结构200 个可学习 query 在融合好的视觉-语言特征里找对象有点像拿着清单在仓库里找货——每个 query 竞争锁定一个实例经过多轮框精化后输出每个目标的 mask、框和置信度。延续tracker 读取memory bank默认最多缓存 7 份 mask 记忆在两次检测之间把目标往前推每 16 帧让检测器重新跑一遍防止误差累积。输出当前帧的检测结果和上一帧的跟踪结果合并输出同时写回 memory bank 供下一帧使用。这里最值得称道的是一个工程决策检测器与跟踪器解耦。两者分开训练、互不干扰还能各自随数据量放大——只关心单图任务的话检测器单独用就够。图中数据从左到右走文本和图像并行编码上方 Detector 负责在当前帧找新目标下方 Tracker 负责从历史继承两路结果合并后得到该帧输出Memory Bank 则是串联前后帧的枢纽。训练数据从哪来、质量怎么保证分割模型的上限很大程度上由数据决定。项目方用自研的data engine自动标注了 400 万 唯一概念构成 SA-CO 基准27 万唯一概念比已有公开评测集多出一个数量级。标注策略分成黄金-白银两级原因很直接黄金人工专业标注员手绘用于最关键的金标准评测集SA-Co/Gold保证尺子可靠白银模型辅助规模化自动标注用于训练把覆盖面做大评测集还拆出图像与视频SA-Co/VEval两套每个图像 名词短语都带实例 mask 和唯一 ID没有匹配对象时的负样本negative prompt也保留在数据里——模型因此学会了什么时候该什么都不画。效果是在金标准集上模型达到了人类标注一致性 75-80% 的水平这个量级过去基本只有人工才能达到。拿它实际能干什么场景一单图文本穷尽分割。给一张购物照片一句话把所有袋子切出来model build_sam3_image_model() processor Sam3Processor(model) state processor.set_image(Image.open(groceries.jpg)) out processor.set_text_prompt(statestate, prompta bag) masks, boxes, scores out[masks], out[boxes], out[scores]不用点选直接拿到每个袋子的 mask、框和置信度想换成 a bottle of water 时只需替换文本。场景二视频一句话跟踪。输入 JPEG 帧目录或 mp4开启会话并给目标起个名字vp build_sam3_video_predictor() r vp.handle_request(requestdict(typestart_session, resource_pathvideo.mp4)) r vp.handle_request(requestdict(typeadd_prompt, session_idr[session_id], frame_index0, texta dog))目标会在整个视频里被持续跟踪发现漂移还能追加点击点来修正完整流程见 examples/sam3_video_predictor_example.ipynb。场景三复杂描述 Agent 精修。长句或带逻辑的描述可以交给 examples/sam3_agent.ipynb让 LLM 拆解描述、反复调用 SAM 3 并自我检查适合把分割当作更大多模体 agent 的一个工具环节。5分钟跑起来从克隆到第一次推理git clone https://gitcode.com/gh_mirrors/sam/sam3进入目录准备 Python 3.12 CUDA 12.6 以上环境装 PyTorchpip install torch2.10.0 torchvision --index-url https://download.pytorch.org/whl/cu128pip install -e .[notebooks]模型权重需先在 Hugging Face 上申请访问通过后执行hf auth login打开 examples/sam3_image_predictor_example.ipynb从头运行第一组 mask 就出来了写在最后SAM 3 把视觉分割从指哪切哪推进到了一句话切一批视频跟踪只是顺带的能力。如果你在做开放词表检测、商品标注或者想给多模体 agent 配一个分割后端它值得纳入候选。仓库里已经能看到 SAM 3.1 的 multiplex 版本——共享记忆做多目标联合跟踪更快且不掉精度同屏追更多目标这条路大概率是接下来值得盯的方向。【免费下载链接】sam3The repository provides code for running inference and finetuning with the Meta Segment Anything Model 3 (SAM 3), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/gh_mirrors/sam/sam3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
