大模型模型量化本地部署【免费下载链接】Qwen3.6-35B-A3B-w4a16-llmcompressor项目地址https://ai.gitcode.com/hf_mirrors/amd/Qwen3.6-35B-A3B-w4a16-llmcompressor点击查看免费下载Qwen3.6-35B-A3B-w4a16-llmcompressor 是 AMD 用 LLM Compressor 对 Qwen3.6-35B-A3B 做 4 比特量化W4A16后的开源模型专为 AMD EPYC CPU 推理优化256 专家 MoE 架构只激活约 3B 参数混合线性注意力大幅压缩 KV 缓存权重从 67 GB 缩到 18.1 GB让你在没有 GPU 的机器上也能流畅跑 35B 级大模型。 模型速览项目参数架构Qwen3_5MoeForConditionalGeneration文本视觉多模态总层数40 层config.jsonMoE 专家256 个路由专家 1 个共享专家每 token 激活 8 个config.json注意力每 4 层 1 次全注意力其余 30 层为线性注意力config.json量化INT4 权重量化W4A16group_size128GPTQ 算法体积67.0 GiB → 18.1 GiB约 73% 缩减README.md上下文最长 262,144 tokensconfig.json推理引擎vLLM v0.28.0 ZenDNN v6.1.0仅 CPU 256 专家 MoE35B 身材3B 算力这个模型是典型的MoEMixture of Experts混合专家结构每一层都有 256 个独立专家每个专家是一个 512 中间维度的小型前馈网络config.json一个路由网络router/gate为每个 token 挑出得分最高的8 个专家参与计算其余 248 个完全休眠额外还有一个共享专家shared expert所有 token 都会经过它所以虽然参数量约 35B但每个 token 真正参与运算的只有约 3B 参数——A3B 名字的由来。这意味着计算量小CPU 上每生成一个 token 的乘加运算量只有稠密 3B 模型的水平而不是 35B 的专家权重稀疏MoE 的精髓是存储多、激活少非常适合内存大、算力弱的 CPU 平台 W4A16 量化18 GB 装下整个模型AMD 使用 LLM Compressor 的 GPTQ 算法做4 比特权重量化权重用 INT4 对称分组量化每 128 个权重共享一组缩放因子激活保持 BF16256 个路由专家、共享专家和线性注意力投影全部量化所以压缩率接近 INT4 理论极限的 75%视觉塔visual、路由 gate、lm_head、嵌入层等敏感部分保留 BF16保证精度不塌方完整的量化配方记录在 recipe.yaml包括scheme: W4A16、block_size: 128、dampening_frac: 0.01等 GPTQ 关键参数。权重本体存储在 model.safetensors 中约 18.1 GiBpack-quantized 格式。为什么量化对 CPU 推理这么关键CPU 推理是内存带宽瓶颈型任务——生成每个 token 都要把激活专家的权重从内存搬进计算单元。权重压缩 73% ≈ 内存流量减少 73% ≈ 生成速度成比例提升。⚡ 混合线性注意力KV 缓存几乎消失大多数大模型每层都用标准自注意力需要缓存整个序列的 KVKey-Value序列越长内存占用越大。这个模型采用Qwen3.5 系列标志性的混合注意力方案full_attention_interval 4config.json每 4 层只有 1 层是标准全注意力40 层中仅 10 层需要 KV 缓存其余 30 层是线性注意力linear attention用固定大小递归状态代替 KV 缓存且带有 kernel 尺寸为 4 的短卷积config.json线性注意力部分有 16 个 key head、32 个 value headconfig.json状态随序列长度增长几乎为 O(1)对 CPU 推理来说这是杀手级设计长上下文时内存占用不再随序列线性膨胀也不需要反复搬运越来越大的 KV 张量。再配合partial_rotary_factor: 0.25的局部旋转位置编码config.json模型才能稳定支持 256K 上下文。 为什么天生适合 CPU四个理由总结稀疏激活每 token 只算 ~3B 参数CPU 算力够得着INT4 权重内存带宽消耗直降 73%这是 CPU 推理的第一瓶颈线性注意力KV 缓存极小长对话不吃内存、不掉速工程配套AMD 专门用 ZenDNN v6.1.0 / ZenTorch v2.13.0.0 优化了 4-bit 反量化核vLLM v0.28.0 原生支持该格式README.md一句话架构层面MoE 线性注意力决定了它能跑在 CPU 上量化层面W4A16决定了它跑得动软件层面ZenDNN决定了它跑得快。️ 快速上手在你的机器上跑起来1. 克隆仓库git clone https://gitcode.com/hf_mirrors/amd/Qwen3.6-35B-A3B-w4a16-llmcompressor.git2. 安装依赖版本严格锁定torch2.13.0.0 zentorch2.13.0.0 vllm0.28.0 llmcompressor0.12.0版本要求见 README.md。另建议设置LD_PRELOAD指向libomp.soLLVM OpenMP以获得最佳 CPU 性能详见 README.md。3. 用 vLLM 加载推理from vllm import LLM, SamplingParams model LLM(model./Qwen3.6-35B-A3B-w4a16-llmcompressor, dtypebfloat16) out model.generate([你好请介绍一下你自己], SamplingParams(temperature0.7, max_tokens256)) print(out[0].outputs[0].text)✅ 精度表现与使用注意量化不是免费的午餐但这个模型的损失控制得很好GSM8K 五样本测试中BF16 基线 0.9651W4A16 版本 0.9613精度保留 99.61%README.md。几个实用提示⚠️仅限 CPU该模型针对 AMD EPYC 优化不适用于 GPU 推理默认开启思维链Qwen3.6 是推理模型默认输出思考过程评测或抽取答案时建议enable_thinkingFalse️视觉模块未量化视觉塔保持 BF16纯文本场景可加language_model_onlyTrue跳过 采样参数top_k20, top_p0.95定义在 generation_config.json对话模板见 chat_template.jinja 许可证与源模型一致Apache-2.0见 LICENSE 写在最后Qwen3.6-35B-A3B-w4a16-llmcompressor 展示了模型架构 量化 硬件软件栈三层协同的威力256 专家 MoE 把算力需求压到 CPU 可承受的 3B 水平30 层线性注意力把长上下文的内存压力几乎清零W4A16 量化再把 67 GB 权重塞进 18 GB。如果你手上有台 AMD EPYC 服务器却没有 GPU这就是目前跑 35B 级多模态模型最现实的选择之一。赞分享大模型模型量化本地部署【免费下载链接】Qwen3.6-35B-A3B-w4a16-llmcompressor项目地址https://ai.gitcode.com/hf_mirrors/amd/Qwen3.6-35B-A3B-w4a16-llmcompressor点击查看免费下载相关推荐Qwen3.6-35B-A3B-NVFP4架构拆解256专家、混合线性注意力与MTP多token预测Qwen3.6 35B A3B NVFP4架构拆解256专家、混合线性注意力与MTP多token预测 Qwen3.6 35B A3B NVFP4 是 RedH拆解Qwen3.6-35B-A3B-Quark-INT4-G128背后的架构256专家MoE与混合线性注意力的奥秘拆解Qwen3.6 35B A3B Quark INT4 G128背后的架构256专家MoE与混合线性注意力的奥秘 本文带你拆解 Qwen3.6 35B A3一文读懂Qwen3.6-35B-A3B-w8a8-llmcompressor模型架构256个专家、混合注意力与262K超长上下文新手友好一文读懂Qwen3.6 35B A3B w8a8 llmcompressor模型架构256个专家、混合注意力与262K超长上下文新手友好 Qwen3.6上一篇星露谷XNB文件终极处理指南xnbcli完全教程下一篇30 Seconds of Interviews 无障碍专题深入理解 Accessibility Tree可访问性树与浏览器无障碍架构创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
