别漏掉mmprojNVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 视觉投影器mmproj-BF16.gguf 启用图文理解完整教程NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 是 NVIDIA 开源视觉语言模型VLM的 GGUF 格式镜像内置 Q4 到 BF16 多档量化并附带独立的视觉投影器文件 mmproj-BF16.gguf。只要正确启用这个 mmproj 文件你就能在 llama.cpp、Ollama 或 LM Studio 中本地跑通图片理解、视频问答和文档 OCR 等图文理解任务。 一句话总结主模型负责大脑mmproj 负责眼睛两者缺一不可。很多新手只下载主模型结果发现图片功能全部失效——问题就出在漏掉了这个文件。mmproj 是什么让模型看见图像的视觉投影器Nemotron 3.5 Bolt 74B-A9B 是一个 74B 总参数9B 激活的 MoE 视觉语言模型架构为 Mamba-2 Transformer 混合 LatentMoE详见 README.md。它的视觉能力由三部分组成组件作用在 GGUF 中的位置C-RADIO v4-H 视觉编码器把图片/视频帧编码成特征向量包含在 mmproj 文件中MLP 投影器Projector把视觉特征翻译成语言模型能懂的向量包含在 mmproj 文件中语言主干LLM Backbone真正进行推理与文本生成各量化目录中的主模型也就是说mmproj-BF16.gguf 保存的是视觉编码器 投影器这一整套视觉前端。不加载它模型只能处理纯文本加载之后模型即可接受图片jpeg/png、视频mp4最长 2 分钟和文本的混合输入并输出文字回答官方规格见 README.md。仓库文件清单先看一眼你手上有什么在启用图文理解之前先确认文件齐全。本仓库结构如下文件 / 目录说明mmproj-BF16.gguf⭐ 视觉投影器BF16 精度本文主角BF16/全精度主模型4 分片适合微调与二次量化Q8_0/8-bit 量化精度接近原版体积友好3 分片UD-Q4_K_XL/、UD-Q5_K_XL/、UD-Q6_K_XL/Unsloth Dynamic 分档量化本地部署主力各 3 分片NVIDIA-Nemotron-3.5-Bolt-74B-A9B-UD-Q3_K_XL.gguf、UD-Q2_K_XL 等低显存档位单文件小内存设备可选dflash-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-NVFP4.ggufDFlash 投机解码草稿模型LiLiCorr drafter用于加速推理README.md官方模型卡架构、基准、推荐参数如果无法逐个下载可以直接克隆整个仓库git clone https://gitcode.com/hf_mirrors/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF如何挑选主模型量化档位显存需求一眼看懂mmproj 文件是独立的 BF16 精度与主模型的量化档位无关——无论你选 Q4 还是 Q8都搭配同一个 mmproj-BF16.gguf 使用。挑主模型时只需按显存做决定显存充足追求最佳精度Q8_0/ 或 BF16/⚖️日常推荐UD-Q4_K_XL/ 或 UD-Q5_K_XL/Unsloth Dynamic 量化在同体积下精度更优74B-A9B 的 MoE 架构激活参数仅 9B速度表现也会更轻快显存紧张UD-Q3_K_XL、UD-Q2_K_XL 乃至 IQ 系列如 NVIDIA-Nemotron-3.5-Bolt-74B-A9B-UD-IQ2_M.gguf牺牲部分精度换取可运行性 提示多分片文件-00001-of-00003等需整套齐全加载时只填第一个分片路径即可。三种主流方式启用 mmproj 图文理解方式一llama.cpp 一行命令加载更新到支持该架构的版本后用--mmproj参数指定视觉投影器即可llama-server -m UD-Q4_K_XL/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-UD-Q4_K_XL-00001-of-00003.gguf \ --mmproj mmproj-BF16.gguf服务启动后即可通过其 Web UI 或 API 直接上传图片提问。方式二Ollama 本地运行用git clone或下载拿到主模型第一个分片与 mmproj-BF16.gguf并放入同一目录新建 Modelfile通过FROM指向主模型、PARAMETER mmproj指向投影器再执行ollama create创建模型ollama run后发送带图片的对话即可验证图文理解是否生效方式三LM Studio 图形化配置对新手最友好的路线在 LM Studio 中加载主模型选择对应量化分片在模型配置页找到mmproj / 多模态投影器选项选择 mmproj-BF16.gguf保存并进入聊天界面用对话窗口的图片按钮上传测试图三条路线的本质相同主模型 mmproj 同时加载视觉链路即打通。常见问题mmproj 使用避坑清单Q1mmproj 一定要和主模型同量化吗不需要。视觉投影器以 BF16 独立发布可搭配任意量化档的主模型体积也只有主模型的一小部分。Q2不加载 mmproj 会报错还是静默失效多数情况下程序不会报错只是图片输入不可用或输出乱答。发现图片被无视时第一个要检查的就是 mmproj 是否已加载。Q3推荐的采样参数是多少官方建议temperature 1.0、top_p 0.95见 README.md 模型摘要。Q4dflash 那个文件是干什么的dflash-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-NVFP4.gguf 是投机解码草稿模型用于加速生成速度与 mmproj 相互独立按需加载。Q5支持哪些语言英文、西班牙文、法文、德文、意大利文、日文等另支持中文、韩文等更多语言README.md。总结 mmproj-BF16.gguf 是 Nemotron 3.5 Bolt 74B 的眼睛视觉编码器 投影器图文理解必载 主模型按显存在 Q8_0/、UD-Q4_K_XL/ 等档位中自选与 mmproj 自由搭配 llama.cpp 加--mmproj参数、Ollama 配置 Modelfile、LM Studio 图形化选择三条路都能快速跑通⚡ 追求速度可再叠加 dflash 草稿模型 开启投机解码文件备齐、mmproj 加载成功你的本地视觉语言模型就正式上线了。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
)
