【免费下载链接】LFM2.5-230M项目地址https://ai.gitcode.com/hf_mirrors/unsloth/LFM2.5-230M点击查看免费下载LFM2.5-230M 是 Liquid AI 推出的 230M 参数端侧 AI 小模型专为手机、开发板等设备的本地部署设计在 Galaxy S25 Ultra 上实测解码速度达 213 tok/s树莓派 5 上也有 42 tok/s是目前同级别小模型中推理速度最快的选手之一。它由 LFM2.5-350M 蒸馏而来并经多阶段强化学习精调主打数据抽取与轻量级 Agent 工具调用场景。核心规格一览230M 参数能装下什么先给结论这是一个身材极小但五脏俱全的纯文本生成模型。项目数值参数量230M层数14 层8 个 LIV 卷积块 6 个 GQA 注意力块训练数据量19T tokens上下文长度32,768 tokens词表大小65,536知识截止2024 年中支持语言英、中、阿、法、德、意、日、韩、葡、西 共 10 种架构细节可以在仓库的 config.json 里看到hidden_size为 1024num_hidden_layers为 14注意力采用 GQA 方案16 个查询头 / 8 个 KV 头MLP 激活使用 SwiGLU并且tie_word_embeddings: true输入输出词表共享权重——这正是进一步压缩体积的关键设计。为什么小模型能跑出 213 tok/s速度秘诀藏在架构里。LFM2.5 不是纯 Transformer而是卷积 注意力的混合结构。查看 config.json 中的layer_types字段可以看到 14 层的排布[conv, conv, full_attention, conv, full_attention, conv, full_attention, conv, full_attention, conv, full_attention, conv, full_attention, conv]规律是每 1 层注意力层之间穿插 2 层卷积层conv即 8 个卷积块 6 个注意力块。卷积层计算密度高、访存友好在低成本 CPU 上尤其高效是 213 tok/s 解码速度的主要来源注意力层则负责长程依赖与语义理解保留 6 层即可支撑 32K 上下文GQA 词表共享则把 KV Cache 和权重体积压到最小方便塞进手机内存。这种该快的地方快、该强的地方强的混合设计就是端侧 AI 小模型跑满速度的核心思路。推理参数怎么配官方推荐设置generation_config.json 已内置了官方推荐采样参数直接加载模型即可生效参数推荐值说明temperature0.1低温采样输出更稳定top_k50限制候选词范围repetition_penalty1.05轻微抑制重复do_sampletrue开启采样配合 tokenizer.json65536 词表与 tokenizer_config.json使用 Hugging Face Transformerstransformers5.0.0加载后apply_chat_template()会自动处理对话格式开发者几乎不用手动拼 prompt。基准测试比谁强官方 README.md 给出的评测数据分数越高越好模型GPQA DiamondMMLU-ProIFEvalBFCLv3工具调用LFM2.5-230M25.4120.2571.7143.26LFM2.5-350M30.6420.0176.9644.11Qwen3.5-0.8B27.4137.4259.9435.08Gemma 3 1B IT23.8914.0463.4916.61 重点看两列BFCLv3函数调用43.26 分超过参数量更大的 0.8B/1B 模型说明Agent 工具调用是它的立身之本IFEval指令遵循71.71 分同级别领先配合多轮强化学习格式遵循能力突出。但也要有合理预期在 MMLU-Pro、GPQA 这类知识/推理基准上它仍落后于 0.8B 以上模型不适合高难度数学与代码生成。对话模板与函数调用原生支持 Agent仓库中的 chat_template.jinja 定义了 ChatML 风格对话格式并内置了完整的工具调用渲染逻辑render_tool_calls宏。LFM2.5 的函数调用流程分四步定义工具在 system prompt 中以 JSON 列表给出或通过apply_chat_template(tools...)传入发起调用模型默认输出 Pythonic 风格调用包裹在|tool_call_start|与|tool_call_end|特殊 token 之间执行工具拿到结果后以tool角色返回给模型生成回答模型解读工具输出给出自然语言最终答案。这意味着端侧 Agent不需要额外微调——数据抽取、查询状态、表单解析等轻量级 Agent 流水线可以直接落地到设备本地隐私敏感场景不再依赖云端。仓库文件清单与获取方式文件说明model.safetensors模型权重原始格式适合 Transformers/vLLM 推理与微调config.json模型架构与超参数配置generation_config.json官方推荐采样参数tokenizer.json分词器词表tokenizer_config.json分词器配置chat_template.jinja对话模板含工具调用LICENSELFM Open License v1.0如需拉取本地体验git clone https://gitcode.com/hf_mirrors/unsloth/LFM2.5-230M另外README 中列出的 GGUFllama.cpp 端侧推理、ONNX跨平台、MLXApple Silicon等量化格式可在上游模型页获取端侧部署优先选 GGUF。它适合谁不适合谁✅推荐使用手机、树莓派等设备的本地实时推理213 tok/s / 42 tok/s数据抽取从文本、表单中结构化提取字段轻量级 Agent工具调用、状态查询、意图路由❌不推荐高级数学推理、复杂代码生成长文创作类任务一句话总结LFM2.5-230M 用8 卷积 6 注意力的混合架构和蒸馏强化训练把 230M 参数做到了端侧 213 tok/s 的解码速度是当前做本地数据抽取和轻量 Agent 的优选小模型。赞分享【免费下载链接】LFM2.5-230M项目地址https://ai.gitcode.com/hf_mirrors/unsloth/LFM2.5-230M点击查看免费下载相关推荐RSuite Message 消息框组件从入门到源码解析类型、图标、边框与 toaster 组合实践RSuite Message 消息框组件从入门到源码解析类型、图标、边框与 toaster 组合实践 导读 Message消息框是 rsuite 组件库中iPhone 上真跑起了 35B 大模型6.4 tok/s 实测端侧 AI 要进入「手机时代」了iPhone 上真跑起了 35B 大模型6.4 tok/s 实测端侧 AI 要进入「手机时代」了 你有没有过这种烦恼 想让 AI 帮自己干活第一反应是打人工智能大模型模型量化LoRA本地部署iPhone 跑 35B 大模型实测 6.4 tok/s端侧推理要进入「手机时代」了iPhone 跑 35B 大模型实测 6.4 tok/s端侧推理要进入「手机时代」了 过去两年端侧大模型叙事的主线一直是「把模型做小」从 7B 量化到人工智能大模型模型量化LoRA本地部署上一篇Pinpoint Kafka 插件完全指南Kafka 生产者/消费者/Streams 的配置、远程追踪与排障实战下一篇Relay 连接Connections与游标分页从 GraphQL 连接模型到 usePaginationFragment 实践指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
