人工智能大模型多模态模型量化模型优化【免费下载链接】MiniMax-M3.1-Flash-Quark-MXFP4项目地址https://ai.gitcode.com/hf_mirrors/amd/MiniMax-M3.1-Flash-Quark-MXFP4点击查看免费下载MiniMax-M3.1-Flash-Quark-MXFP4 是 AMD 基于 Quark 量化工具发布的 MXFP4 量化版多模态大模型专为 AMD MI350/MI355 GPU 深度优化支持 vLLM 与 SGLang 部署。本文带你前瞻它的实验特性——MXFP4 共享专家在线量化与融合并给出 vLLM 启用步骤让 MoE 推理更快一步。 模型速览MXFP4 量化做了什么这个仓库是 MiniMax-M3.1-Flash 的量化版本架构为MiniMaxM3SparseForConditionalGenerationMoE 稀疏专家 视觉塔输入文本/图像/视频输出文本。AMD-Quark 将路由专家Routed Experts从 NVFP4 转换为OCP MXFP4格式项目说明专家权重MXFP4 静态量化per-groupgroup_size32专家激活MXFP4 动态量化e8m0 缩放因子其余层保持与基座模型一致的精度权重规模48 个分片合计约 237 GB见 model.safetensors.index.json量化配置可参考 config.json 中的quantization_config字段量化脚本quantize_quark.py与完整部署说明收录在 README.md 中。 什么是共享专家一文看懂 MoE 结构MiniMax-M3.1-Flash 每层 MoE 有128 个本地专家每个 token 只激活 4 个另外还有1 个共享专家shared expert路由专家按谁相关谁上岗共享专家则对每个 token 都参与计算见 config.json 中num_local_experts与n_shared_experts。离线量化时共享专家被排除在外、保留了原始精度排除规则见 README.md 的--exclude_layers其中包含*block_sparse_moe.shared_experts.*。这意味着共享专家的计算路径与量化后的路由专家不一致存在额外的算子开销——这正是实验特性要解决的问题。 实验特性前瞻在线量化 专家融合什么是在线量化Online Quantization指不在离线阶段转换权重而是让 vLLM 在加载模型时现场把权重量化到目标格式。对共享专家来说就是用--quantization-config.targets指定mxfp4让运行时将其转为 MXFP4与路由专家格式对齐。什么是共享专家融合Fusion通过VLLM_ROCM_USE_AITER_FUSION_SHARED_EXPERTS1开启 AITER 融合算子后共享专家计算可与路由专家合并到同一融合 MoE Kernel 中执行减少算子调度与显存往返开销提升 AMD GPU 上的解码吞吐。三步启用实验特性在标准 vLLM 启动命令基础上追加环境变量与量化目标即可VLLM_ROCM_USE_AITER1 VLLM_ROCM_USE_AITER_FUSION_SHARED_EXPERTS1 vllm serve \ amd/MiniMax-M3.1-Flash-Quark-MXFP4 \ ... \ --quantization-config.targets {*shared_expert*: mxfp4}⚠️注意该组合目前为实验特性Experimental官方不建议作为默认配置生产环境请优先使用标准部署方式完整命令见 README.md。⚡ 硬件环境与配套能力硬件AMD MI350 / MI355ROCm 7.2.3、PyTorch 2.13.0、Transformers 5.19.0Linux支持 vLLM、SGLang 双引擎推理均开启 AITER 优化附带dspark 投机解码草稿模型5 层、block_size7、Markov rank256位于 dspark/ 目录参数见 dspark/config.json权重清单见 dspark/model.safetensors.index.json✅ 精度表现量化后几乎不掉分官方使用 vLLM EvalScope 在 GSM8K4-shot上评测基准基座 MiniMax-M3.1-Flash本模型MXFP4精度恢复率GSM8K97.2%96.9%99.69%复现命令服务启动 评测同样收录在 README.md 中。️ 仓库文件导航文件用途config.json主模型配置与量化配置README.md部署、量化、评测完整指南dspark/config.json投机解码草稿模型配置model.safetensors.index.json主模型权重分片索引generation_config.json生成默认参数temperature1.0, top_p0.95总结MiniMax-M3.1-Flash-Quark-MXFP4 用 MXFP4 静态/动态量化换来了显著的显存与带宽收益GSM8K 精度恢复率达 99.69%。其实验性的共享专家在线量化 融合特性为追求极致 MoE 推理性能的进阶用户打开了一条优化路径——建议先在测试环境验证效果再决定是否上线。赞分享人工智能大模型多模态模型量化模型优化【免费下载链接】MiniMax-M3.1-Flash-Quark-MXFP4项目地址https://ai.gitcode.com/hf_mirrors/amd/MiniMax-M3.1-Flash-Quark-MXFP4点击查看免费下载相关推荐PaddleNLP 社区模型 dbmdz/bert-base-turkish-128k-casedBERTurk 128k下载与使用指南PaddleNLP 社区模型 dbmdz/bert base turkish 128k casedBERTurk 128k下载与使用指南 本指南以 mode人工智能大模型多模态模型量化模型优化要不要用MiniMax-M3.1-Flash-Quark-MXFP4与基线NVFP4模型逐项对比及选型指南要不要用MiniMax M3.1 Flash Quark MXFP4与基线NVFP4模型逐项对比及选型指南 本文带你完整看懂 MiniMax M3.1 Fla人工智能大模型多模态模型量化模型优化揭秘MXFP4量化AMD Quark如何把Muse-Spark-Open-816B-A42B-Quark-MXFP4的MoE专家压缩到极致揭秘MXFP4量化AMD Quark如何把Muse Spark Open 816B A42B Quark MXFP4的MoE专家压缩到极致 Muse Spar大模型基础模型多模态模型量化本地部署上一篇DeepMind Research深度盘点55个顶会论文背后的AI研究项目终极地图下一篇Swifton 模型层揭秘MemoryModel 源码拆解如何快速接入 PostgreSQL 与 SQLite创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
