【免费下载链接】NVIDIA-Nemotron-3.5-Lightning-30B-A3B-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-bf16点击查看免费下载NVIDIA Nemotron 3.5 Lightning 30B A3B 函数调用如何快速落地本教程带你完成这套 MLX 格式的本地大模型 AI Agent 工具集成它采用 Mamba-2 注意力混合 MoE 架构约 31B 总参数、每 token 仅激活约 3B内置qwen3_coder解析器可稳定输出结构化工具调用让闪电级的本地推理速度真正服务于 Agent 场景。一、模型速览为什么 Nemotron 3.5 Lightning 适合本地 AI Agent ⚡️在动手之前先了解这个模型的三个关键优势特性数值来源架构NemotronHForCausalLMMamba-2 注意力混合 MoEconfig.json总参数 / 激活参数31.6B / 约 3Bmodel.safetensors.index.json精度bfloat16未量化README.md上下文长度262,144 tokensconfig.json工具解析器qwen3_codertokenizer_config.json词表大小131,072config.json快MoE 结构中每个 token 只路由到 6 个专家num_experts_per_tok: 6见 config.json激活计算量小在 Apple Silicon 上推理速度非常快这也是 Lightning 名字的由来。省52 层中有 8 层是全局注意力层其余为 Mamba 层见 config.json 的layers_block_type长上下文显存占用远低于纯注意力模型。能调工具tokenizer_config.json 中明确声明了tool_parser_type: qwen3_coder意味着 mlx-lm 等框架能自动识别并解析它的函数调用输出。 内存提示bf16 权重约 63GB13 个分片见下文清单建议统一内存 ≥ 64GB 的 Mac如 M4 Max / M3 Ultra 高配机型运行。二、仓库文件清单函数调用能力在哪里 本仓库是mlx-community使用 mlx-lm 0.31.3 从 PyTorch 版转换而来的 MLX 格式权重README.md所有文件各司其职文件作用README.md模型说明与快速上手代码config.json模型架构、MoE 与 Mamba 超参数generation_config.json官方推荐采样参数temperature 1.0、top_p 0.95、开启采样tokenizer.json分词器词表131,072tokenizer_config.json分词器配置声明 qwen3_coder 工具解析器chat_template.jinja对话模板工具声明、工具调用格式、思考块model-00001-of-00013.safetensors model-00013-of-00013.safetensorsbf16 权重共 13 个分片model.safetensors.index.json权重分片索引与参数总量函数调用能力由两部分共同提供chat_template.jinja 负责约定格式把工具清单写进系统提示、定义调用与回传格式qwen3_coder解析器负责按格式切分框架据此从模型输出中切出函数名和参数。三、最快部署方法mlx-lm 三步加载模型 1. 安装 mlx-lmpip install mlx-lm2. 加载模型并生成from mlx_lm import load, generate model, tokenizer load(mlx-community/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-bf16) messages [{role: user, content: Hello, who are you?}] prompt tokenizer.apply_chat_template(messages, add_generation_promptTrue) response generate(model, tokenizer, promptprompt, verboseTrue)以上示例直接取自 README.md。首次运行会自动下载 13 个权重分片请耐心等待。3. 采用官方采样参数按 generation_config.json 的推荐值建议传入temperature1.0, top_p0.95并开启采样这是函数调用格式最稳定的生成配置。四、qwen3_coder 解析器原理函数调用格式拆解 理解了格式调试 Agent 就轻松了一半。下面三种文本协议全部定义在 chat_template.jinja 中1. 工具声明注入系统提示提供tools后模板会在 system 消息中自动插入# Tools段落用 XML 风格列出每个函数的名称、描述与参数见 chat_template.jinja# Tools You have access to the following functions: tools function nameget_weather/name description查询指定城市的实时天气/description parameters parameter namecity/name typestring/type description城市名称如北京/description /parameter /parameters required[city]/required /function /tools2. 模型输出工具调用当模型决定调用工具时会按 qwen3_coder 格式输出模板渲染规则见 chat_template.jinja|tool_call|begin| |tool_call_argument|begin| functionget_weather parametercity 北京 /parameter /function |tool_call|end|3. 工具结果回传执行完工具后把结果包进tool_call_response标记再交给模型继续生成|tool_call_response| {temp: 22℃, weather: 晴} |tool_call_response|另外该模型是会思考的模型助手回复默认带/think思考块见 chat_template.jinja 的生成提示。Agent 场景中建议把历史轮次的思考内容截断模板默认truncate_history_thinking开启既省 token 又保持上下文干净。五、AI Agent 工具集成实战定义工具 → 解析 → 执行闭环 完整闭环只有四步定义工具 → 模型输出调用 → 本地执行函数 → 结果回传并收尾。第 1 步定义工具JSON Schematools [ { type: function, function: { name: get_weather, description: 查询指定城市的实时天气, parameters: { type: object, properties: { city: {type: string, description: 城市名称如北京} }, required: [city] } } } ]第 2 步带工具生成mlx-lm 自动走 qwen3_coder 解析较新版本的 mlx-lm 会根据 tokenizer_config.json 中的tool_parser_type自动选择解析器直接把tools传给generate即可messages [{role: user, content: 北京今天天气怎么样}] response generate( model, tokenizer, prompttokenizer.apply_chat_template(messages, add_generation_promptTrue), toolstools, temperature1.0, top_p0.95, verboseTrue, )第 3 步解析并执行调用如果框架没有替你把调用切分出来可以用十几行正则兜底解析import re m re.search( r\|tool_call\|begin\|\|tool_call_argument\|begin\| rfunction(\w)(.*?)/function\|tool_call\|end\|, response, re.S, ) if m: func_name m.group(1) # get_weather params dict(re.findall(rparameter(\w)\n(.*?)\n/parameter, m.group(2), re.S)) result TOOL_REGISTRYfunc_name # 调用你自己的函数执行后把result序列化成 JSON按第四节的tool_call_response格式追加到对话历史再次调用generate收尾模型就会基于真实数据给出自然语言回答。第 4 步多轮循环把上面的生成 → 解析 → 执行 → 回传包在while循环里直到模型不再输出|tool_call|begin|就是一个可跑通多步任务的 Agent 主循环。262K 的超长上下文足以容纳多轮工具交互而不用担心截断。六、常见问题与调优建议 ❓问题建议内存不够加载失败64GB 统一内存是安全线权重为 bf16 未量化版无量化版本可先评估内存需求输出格式偶尔不合规严格采用 generation_config.json 的temperature1.0 / top_p0.95勿用过低温度Agent 循环不收敛限制最大工具调用轮数如 5 轮在系统提示中写明无合适工具时直接回答长对话变慢开启truncate_history_thinking截断历史思考块减少 token 消耗想关思考直接出结果按模板约定传enable_thinkingFalse见 chat_template.jinja✅调优清单官方采样参数 → 描述清晰的工具 Schemadescription越具体调用越准→ 单工具先行验证 → 再逐步加工具。七、总结把 Nemotron 3.5 变成你的 Agent 大脑 回顾本教程的完整路径认识模型Mamba-2 注意力混合 MoE31B 总量、3B 激活本地跑得快、上下文长摸清文件函数调用能力藏在 chat_template.jinja 与 tokenizer_config.json 的qwen3_coder声明中三步部署pip install mlx-lm→load→ 按官方参数generate跑通闭环工具声明、调用解析、结果回传三步协议配合一个 while 循环即是完整 AI Agent。NVIDIA Nemotron 3.5 Lightning 30B A3B 用闪电级的推理速度和现成的函数调用协议为本地 AI Agent 提供了一条低门槛、可落地的集成路径。接下来不妨给它接上搜索、日历或数据库工具把闭环扩展成你的第一个本地 Agent 应用。赞分享【免费下载链接】NVIDIA-Nemotron-3.5-Lightning-30B-A3B-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-bf16点击查看免费下载相关推荐显存要多少NVIDIA-Nemotron-3.5-Lightning-30B-A3B-8bit在Apple Silicon上部署的完整实践指南显存要多少NVIDIA Nemotron 3.5 Lightning 30B A3B 8bit在Apple Silicon上部署的完整实践指南 NVIDIA参数调优清单temperature与top_p如何影响NVIDIA-Nemotron-3.5-Lightning-30B-A3B-mxfp4的输出质量参数调优清单temperature与top_p如何影响NVIDIA Nemotron 3.5 Lightning 30B A3B mxfp4的输出质量 本文基NVIDIA Nemotron 3.5 Lightning 30B A3B多Token预测(MTP)技术全解推理提速的隐藏利器NVIDIA Nemotron 3.5 Lightning 30B A3B多Token预测 MTP 技术全解推理提速的隐藏利器 本仓库提供 NVIDIA Ne上一篇终极Mac光标自定义指南Mousecape让你的桌面焕然一新下一篇ArchWSL系统升级指南pacman全面更新与内核升级注意事项创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
