大模型基础模型推理模型本地部署模型量化【免费下载链接】LFM2.5-24B-A2B-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/LFM2.5-24B-A2B-GGUF点击查看免费下载LFM2.5-24B-A2B-GGUF 是 Liquid AI 开源的 24B MoE 推理大模型的 GGUF 量化仓库由 Unsloth Dynamic 3.0 量化而成。它的杀手锏是总参数 24B、每 token 只激活约 2.45B 参数因此在 Apple M5 Max 上能跑到 184 tok/s成为目前最适合跑本地 Agent 的端侧大模型之一。本文将带你搞懂它的架构原理、量化档位选型和本地部署方法。一句话认识 LFM2.5-24B-A2B项目参数总参数24.0B激活参数2.45B每 token架构40 层30 个双门控短卷积块 10 个 GQAMoE 路由每个 MoE 块 64 个专家top-4 路由上下文长度131,072 tokens词表128,000训练数据量约 36 万亿 tokens支持语言中、英、日、韩、法、德等 16 种推理风格纯推理模型回答前总是先思考think标签内置于聊天模板它是 LFM2.5 家族的收官之作——从 230M 到 24B跨越了两个数量级。官方定位为快速、私密的端侧 Agent 模型需要推理、调用工具、在你的设备上可靠运行。为什么只激活 2B 参数还能有 24B 的脑子这是 MoEMixture of Experts混合专家架构的精髓也是本文标题问题的答案24B 总参数 知识库。64 个专家的权重全部存储在显存/内存中模型读过的知识都在里面2.45B 激活参数 每 token 的计算量。路由器只挑 top-4 个专家参与当前 token 的前向计算结果就是内存占用按 24B 算速度按 2B 算。类比一下一家医院有 64 位专科医生24B 总参数但你挂一次号只需要 4 位医生top-4 路由会诊挂号费算力开销只按 4 位医生收2B 激活参数而你能享受的全部专业储备仍是 64 位医生。这正是它能跑在本地的根本原因同样 24B 规模的 MoE 模型它端侧推理速度最高快 1.7 倍同时内存占用最少——Apple M5 Max 上 184 tok/sAMD Ryzen AI Max 395 上 114 tok/s。性能实测Agent 能力越级打怪官方在 16 项基准上对比了 Qwen3.6-35B-A3B总参数和激活参数都多约 50%等模型LFM2.5-24B-A2B 在 Agent 与工具调用类任务上全面占优基准测试LFM2.5-24B-A2B同级最强对手LiveClaw实时 Agent48.0938.19AutomationBench27.698.72BFCLv4函数调用65.0165.00ToolSandbox80.7175.13IFEval指令遵循96.7594.19MATH-50096.0496.73SWE-Bench Verified51.0066.20可以看到数学、指令遵循等硬功夫不输大模型而在 Agent、工具调用、自动化流程上直接拉开差距——这就是为 Agent 而生的后训练配方多领域蒸馏 在 OpenClaw、OpenCode 等主流 Agent 框架内做强化学习的效果。 官方建议把它当作推理 工具调用的大脑知识密集型任务请搭配 RAG 检索或联网搜索效果最佳。仓库内容一览10 个 GGUF 量化档位怎么选本仓库提供了从约 7GB 到 44.7GB 的完整量化矩阵全部基于 Unsloth Dynamic 3.0UD 前缀即 UD 量化量化文件大小约推荐场景LFM2.5-24B-A2B-UD-IQ2_XXS.gguf7.0 GB8GB 内存设备极限压缩LFM2.5-24B-A2B-UD-IQ2_M.gguf7.0 GB8GB 内存设备LFM2.5-24B-A2B-UD-Q2_K_XL.gguf7.5 GB低内存尝鲜LFM2.5-24B-A2B-UD-IQ3_XXS.gguf8.3 GB12GB 内存性价比入门LFM2.5-24B-A2B-UD-Q3_K_XL.gguf10.2 GB16GB 内存LFM2.5-24B-A2B-UD-Q4_K_XL.gguf13.9 GB16–24GB 内存质量/体积最佳平衡LFM2.5-24B-A2B-UD-Q5_K_XL.gguf16.7 GB32GB 内存LFM2.5-24B-A2B-UD-Q6_K_XL.gguf20.4 GB追求高保真LFM2.5-24B-A2B-Q8_0.gguf23.7 GB接近原精度的最高质量BF16/LFM2.5-24B-A2B-BF16.gguf44.7 GB无损基准/微调基线 选型经验法则内存 ≥ 文件大小 2~4GB留给上下文 KV Cache。131K 长上下文会显著吃内存建议实际使用时按 32K~64K 上下文规划。快速开始三步在本地跑起来第 1 步获取模型文件git clone https://gitcode.com/hf_mirrors/unsloth/LFM2.5-24B-A2B-GGUF第 2 步用 llama.cpp 加载任选其一llama.cpp 方式llama-cli -m LFM2.5-24B-A2B-UD-Q4_K_XL.gguf -cnv -p 帮我写一个查询天气的 Agent 提示词llama-server 提供本地 API配合 Ollama、LM Studio、Open WebUI 等界面均可加载 GGUFllama-server -m LFM2.5-24B-A2B-UD-Q4_K_XL.gguf -ngl 99 -c 32768第 3 步使用推荐生成参数官方推荐的采样参数写在 README.md 的 Model Details 一节temperature: 0.1top_k: 50repetition_penalty: 1.05温度低是为了让推理链更稳定——这对 Agent 任务尤其重要。适合谁、怎么用出效果✅非常适合本地 Agent模型原生支持四步函数调用工具定义 → 生成工具调用 → 执行 → 基于结果作答在 OpenClaw、OpenCode 等 Agent 框架的后训练里泡过天然懂工具调用协议端侧/边缘部署Q4_K_XL 档位 13.9GB普通 24GB 内存的 Mac 或 NPU 本就能流畅运行长文档处理131K 上下文 短卷积块设计读长文档、做代码库问答不吃力。⚠️需要注意知识密集型问答建议外挂检索RAG或联网搜索低量化IQ2/Q2 档在复杂多步 Agent 任务上会有可感知的质量损失预算允许优先上 Q4_K_XL 或更高。总结LFM2.5-24B-A2B 证明了 MoE 路线在端侧的价值24B 的知识容量 2B 的计算成本换来的是本地 Agent 真正可用的推理速度。如果你想在隐私不出本地的前提下跑一个会思考、会调工具的 Agent本仓库的 LFM2.5-24B-A2B-UD-Q4_K_XL.gguf 是最值得直接下载的起点。赞分享大模型基础模型推理模型本地部署模型量化【免费下载链接】LFM2.5-24B-A2B-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/LFM2.5-24B-A2B-GGUF点击查看免费下载相关推荐初见LFM2.5-24B-A2B-Preview为何24B总参数、仅2B激活的MoE推理模型被称为端侧Agent之王初见LFM2.5 24B A2B Preview为何24B总参数、仅2B激活的MoE推理模型被称为端侧Agent之王 LFM2.5 24B A2B PreviPyWxDump 微信聊天记录导出指南功能解析与下架现状PyWxDump 微信聊天记录导出指南功能解析与下架现状 换电脑五年微信聊天记录怎么办PyWxDump 曾是最热门的微信聊天记录导出工具本地解密 PCLFM2.5-24B-A2B-Preview完全解析24B总参数仅2B激活Liquid AI端侧推理Agent之王LFM2.5 24B A2B Preview完全解析24B总参数仅2B激活Liquid AI端侧推理Agent之王 LFM2.5 24B A2B Previ创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
