【免费下载链接】K2-Horizon-3.7B-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/K2-Horizon-3.7B-bf16点击查看免费下载K2-Horizon-3.7B-bf16 是 IFM 出品的 3.7B 密集小模型的 MLX bf16 版本专为 Apple Silicon 设计支持 512K 超长上下文。本文将带你完整拆解它的chat 模板多轮对话中 system / user / assistant / tool 四种角色如何拼接ifm|think思考标签的三级推理强度如何切换以及工具调用tool calls的 json、xml、markdown 三种消息格式帮你一次看懂、直接上手多轮对话实战。一、先认识 K2-Horizon-3.7B-bf16这是一个开箱即用的完整模型仓库核心文件一目了然文件作用k2_horizon.pyMLX 模型实现代码mlx-lm 通过model_file字段加载chat_template.jinja994 行的 chat 模板定义所有对话拼接规则config.json模型架构配置tokenizer.json / tokenizer_config.json分词器词表 250624model-00001-of-00002.safetensors、model-00002-of-00002.safetensors权重文件磁盘共 10.1 GBgeneration_config.json生成配置BOS/EOS token几个关键规格来自 config.jsonhidden_size256036 层decoder-only 密集结构max_position_embeddings524288即512K 上下文窗口dtypebfloat16未量化短提示词峰值内存约10.2 GB24 GB 的 Mac 即可运行安装依赖只需一行pip install -U mlx-lm 注意mlx-lm 尚未原生支持k2_horizon架构所以运行时必须加--trust-remote-code或trust_remote_codeTrue来加载仓库内自带的 k2_horizon.py。二、chat模板核心消息的三段式结构K2-Horizon 的 chat 模板chat_template.jinja把每条消息渲染成如下三段式|ifm|im_start|角色名 消息内容|ifm|im_end|四种角色各司其职角色用途说明system系统提示通常放在第一条挂载工具时会自动扩展成# Tools结构user用户输入多轮对话中的每一句提问assistant模型回复会携带ifm|think思考标签可附带 tool_callstool工具结果执行函数后把返回值喂回给模型多轮对话就是把[system, user, assistant, user, ...]依次按上式拼接最后追加一个待模型生成的开头见下文思考标签部分。分词器的 BOS 为|ifm|begin_of_text|、EOS 为|ifm|endoftext|见 tokenizer_config.json模板开头会自动补上 BOS token。MLX 版的一个重要改进原始模板要求历史 assistant 消息必须带思考字段否则直接报错——而 OpenAI 风格的客户端往往不带。本仓库的模板改为容忍缺失自动渲染为空思考块chat_template.jinja这让第三方客户端开箱即能接入多轮对话。三、思考标签reasoning_effort 三级推理强度K2-Horizon 是先思考再回答的模型思考内容写在专属标签里。模板定义了三级强度通过reasoning_effort参数切换chat_template.jinjareasoning_effort起始标签适用场景high默认ifm|think复杂推理、代码、数学mediumifm|think_fast一般问答lowifm|think_faster快速响应、简单任务当add_generation_promptTrue时模板会在末尾生成类似这样的前缀模型接着往下续写|ifm|im_start|assistant ifm|think两个实战要点给max_tokens留出余量思考过程也占用生成长度简单任务建议至少 2048。历史消息的思考字段可以是think、reasoning、reasoning_content、think_fast、think_faster任一字符串字段模板会自动识别并包上对应标签。四、工具消息格式全解析三种呈现 三种调用这是 K2-Horizon chat 模板最出彩的部分由两个参数控制默认值见 chat_template.jinja4.1 工具说明书怎么呈现tool_presentation_format控制ifm|tools块内工具定义的写法格式说明markdown默认人读友好的## 函数名Parameters列表json每个工具一行原始 JSONxmlfunction/param结构化标签挂载工具后system 消息会被自动扩展先输出# Tools与可用工具清单再附上调用格式说明最后才是你自己的 system 内容chat_template.jinja。4.2 工具调用怎么输出tool_call_format控制 assistant 消息里 tool_calls 的渲染方式格式调用输出形式xml默认ifm|tool_call函数名 成对ifm|arg_key/ifm|arg_valuexml_typed在 xml 基础上多一个ifm|arg_type标注参数类型jsonifm|tool_call内一行{name: ..., arguments: {...}}所有调用统一包裹在ifm|tool_calls.../ifm|tool_calls块中数组和对象参数以 JSON 字面量书写。4.3 工具结果怎么回喂tool 角色消息执行完函数后把返回值作为role: tool的消息传回模板渲染为|ifm|im_start|tool 执行结果文本|ifm|im_end|模板支持字符串、列表含{text: ...}元素等多种 content 形态非字符串内容会自动序列化为 JSON。⚠️ 一个细节mlx-lm 的mlx_lm.server目前还不认识ifm|think标签和 K2-Horizon 的工具调用格式思考文本会直接混在content里返回需要自行解析详见 README.md 的 Notes 部分。五、快速上手多轮对话三种姿势命令行一轮生成注意--trust-remote-codemlx_lm.generate --model mlx-community/K2-Horizon-3.7B-bf16 --trust-remote-code \ --prompt Explain mixture-of-experts in two sentences. --max-tokens 2048Python 多轮 调思考强度from mlx_lm import load, generate model, tokenizer load(mlx-community/K2-Horizon-3.7B-bf16, trust_remote_codeTrue) messages [ {role: user, content: 帮我比较 3.7B 和 36B 模型的取舍}, {role: assistant, content: 3.7B 更快更省内存适合本地多轮对话……}, {role: user, content: 那长上下文场景呢}, ] prompt tokenizer.apply_chat_template( messages, add_generation_promptTrue, reasoning_effortlow ) print(generate(model, tokenizer, prompt, max_tokens2048))交互式聊天mlx_lm.chat与mlx_lm.server同样只需加--trust-remote-code即可直接多轮对话。六、常见坑与参数速查问题解决方案加载报架构不支持加--trust-remote-code或trust_remote_codeTrue思考内容被截断调大max_tokens简单任务用reasoning_effortlow长上下文内存吃紧KV cache 约 144 KB/tokenbf16可用--max-kv-size限制、--kv-bits 8量化第三方客户端报错本模板已容忍历史 assistant 缺思考字段无需额外处理关键参数速查reasoning_efforthigh/medium/low默认hightool_presentation_formatmarkdown默认/json/xmltool_call_formatxml默认/json/xml_typedadd_generation_promptTrue时自动补思考起始标签掌握以上三点——三段式消息结构、三级思考标签、三种工具格式——你基本可以玩转 K2-Horizon-3.7B-bf16 的全部多轮对话场景了。更多基准数据bf16/8bit/4bit 三档对比50.3 tok/s、峰值 10.2 GB 等可查阅仓库 README.md。赞分享【免费下载链接】K2-Horizon-3.7B-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/K2-Horizon-3.7B-bf16点击查看免费下载相关推荐K2-Horizon-3.7B-4bit 聊天模板全解:chat_template.jinja 中工具调用格式与容错渲染机制K2 Horizon 3.7B 4bit 聊天模板全解:chat_template.jinja 中工具调用格式与容错渲染机制 本文带你彻底搞懂 K2 HorizAI-Infra-Guard Agent 安全扫描实战指南目标 Agent 接入、检测流水线与 OWASP ASI 报告解读AI Infra Guard Agent 安全扫描实战指南目标 Agent 接入、检测流水线与 OWASP ASI 报告解读 Agent 安全扫描AgentK2-Horizon-3.7B-bf16五大核心特性解析推理、长上下文与工具调用一次看懂K2 Horizon 3.7B bf16五大核心特性解析推理、长上下文与工具调用一次看懂 K2 Horizon 3.7B bf16 是面向 Apple Sil上一篇vCheck-vSphere与PowerCLI集成7个高级自动化技巧和实用脚本示例下一篇Kiwix测试指南单元测试与XCUITest自动化测试实战创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
