Hy3-oQ2模型卡深度解读：什么是oQ校准量化，2.7 bits/weight意味着什么

【免费下载链接】Hy3-oQ2项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Hy3-oQ2点击查看免费下载Hy3-oQ2是腾讯混元 Hy3295B MoE大模型的MLX oQ 校准量化版本以2.7 bits/weight的有效精度把原本约 556 GB 的 BF16 模型压缩到约92 GB可在 128 GB 的 Apple Silicon Mac 上本地运行。本文带你读懂这份模型卡什么是 oQ 校准量化、2.7 bits/weight 是怎么算出来的以及如何快速上手。先记住这组核心数字指标原始 Hy3BF16Hy3-oQ2本项目磁盘占用约 556 GB约 92 GB19 个分片权重精度16 bits/weight有效 2.7 bits/weight运行峰值内存超过 128 GB 机器内存约 99 GB实测速度M5 Max 128GB—生成 33.6 tok/s一、Hy3-oQ2 是什么先认识这份模型包里有什么Hy3Hunyuan 3.0是腾讯的超大 MoE混合专家模型总参数 295B每 token 激活约 21B。它的结构特点是可对照 config.json 查看80 层 Transformer隐层维度 4096支持 262,144 token 长上下文每层 192 个专家每个 token 只路由激活 8 个专家 1 个共享专家见 config.json所以大参数、低激活架构类型为hy_v3许可证 Apache-2.0继承自基座模型。本仓库则是它的MLX 量化版本文件组成很清爽文件作用README.md模型卡量化方法、内存、基准、用法config.json架构 量化配置含逐张量位宽覆盖表generation_config.json采样参数temperature 0.9 等model-00001~00019-of-00019.safetensors19 个权重分片合计约 92 GBmodel.safetensors.index.json2876 个张量的索引与总大小tokenizer.json / tokenizer_config.json词表与分词配置二、什么是 oQ 校准量化从一刀切到按需分配先打个比方量化就像给模型做无损瘦身——每个权重保留的比特数越少文件越小但信息丢失越多。固定规则量化一刀切所有权重统一用 2 bit。问题是模型里重要的和不太重要的张量被同等对待。模型卡的验证结果很直接纯 2-bit、以及 2-bit8-bit 路由的均匀量化版在17×24 等于多少这种简单推理上都会陷入重复循环、答案崩坏而校准后的 oQ2 能一步步算出正确答案详见 README.md。oQ 校准量化的核心是数据驱动的混合精度先测量用真实数据跑一遍测量每个张量对量化误差的敏感度得到一张敏感度地图再分配按测量结果逐张量决定位宽——不敏感的降到 2 bit敏感的保留 8 bit而不是靠固定规则猜测。这张分配结果就写在 config.json 里全局默认2 bit、group_size 64、affine 模式同时有562 个张量被单独提升为 8 bit包括全部层的shared_mlp共享专家、大量注意力层的q/k/v/o_proj、lm_head、embed_tokens和第 0 层的稠密 MLP 等。 一句话总结oQ 校准量化 用数据测出哪些权重输不起把宝贵的 8 bit 预算精准花在这些张量上。三、2.7 bits/weight 是怎么算出来的bits/weightbpw每权重比特数 所有权重的总比特数 ÷ 总权重数代表平均每个权重保留多少位信息。Hy3-oQ2 的构成是绝大多数张量 2 bit约 2300 个张量主要是 192 个专家的主体权重约 19.5% 的张量 8 bit562/2876见 config.json 的覆盖列表。按权重规模加权平均后有效精度约为2.7 bits/weight。用它反推磁盘大小2950 亿参数 × 2.7 bit ≈ 99.6 GB与索引文件记录的总大小 98,817,602,182 字节≈92 GiB完全吻合。对比一下压缩比BF16 是 16 bits/weight2.7 bits 意味着体积只有原来的约 1/6——这正是 295B 模型能住进 128 GB Mac 的原因。四、量化是怎么做出来的两步走的工程细节 ️超大模型的量化本身也是个工程难题556 GB 的 BF16 模型比 128 GB 机器的内存还大oQ 没法把完整模型装进内存去测敏感度而 omlx 默认的 4-bit 敏感度代理约 150 GB又会撑爆 Metal 的默认工作集上限触发GPU Timeout看门狗。最终采用的方案是两步完整过程见 README.md中间产物mixed_2_6先用mlx_lm.convert做一个2 bit 打底 固定结构层 6 bit的启发式混合量化3.15 bpw108 GB峰值 116 GB偏重且不够稳oQ2 校准把这个更小的mixed_2_6作为sensitivity_model_path传入 oQ——它装得进内存、以推理方式运行、不会触发看门狗。oQ 在它上面测出敏感度后再逐张量流式产出最终量化结果。结果oQ2 比mixed_2_6更抗崩、内存占用还更低峰值 99 GB vs 116 GB。五、内存与速度我的 Mac 能跑吗⚡ 结论先行推荐 128 GB 统一内存的 Apple Silicon 机型如 M 系列 Max 芯片 128 GB。峰值内存99 GB低于 128 GB 机器的默认 Metal 工作集上限107.5 GB不需要手动调sysctl iogpu.wired_limit_mb在 Macbook Pro M5 Max 128GB40 GPU 核心上实测生成 33.6 tok/sprompt 处理 5.05 tok/s峰值 99 GB短 prompt⚠️ 长上下文时 KV cache 余量偏紧模型卡强烈建议开启 3-bit 的 TurboQuant KV来省内存64 GB / 96 GB 机型光磁盘就 92 GB加 KV cache 后放不下不建议。六、基准对比压到 2.7 bpw 值不值作者用 oMLX 智能测试套件每个基准 300 条固定种子样本对比了同系列的几个量化版本基准300 样本oQ2 · 2.68 bpw本项目oQ2e · 2.43oQ2e-2.37bpwoQ2e-2.33bpwoQ2e-2.31bpwmathqa0.630.650.640.620.60mmlu_pro0.650.610.600.590.55winogrande0.740.680.680.650.65可以看到bpw 越低分数掉得越多2.68 bpw 的 oQ2 在三项中至少并列最优。注意作者在 README.md 中特意说明这只是固定种子的抽样测试不是完整基准选型前建议用自己的真实任务实测。七、快速上手三步在 Mac 上跑起 Hy3-oQ2第 1 步安装支持hy_v3架构的 mlx-lm。官方 mlx-lm 尚未支持该架构有一个待合并的 PRmlx-lm#1211在此之前需按 README.md 的说明从 PR 分支安装否则模型无法加载待 PR 合入发布版后即可直接安装。第 2 步命令行生成文本。python -m mlx_lm generate --model mlx-community/Hy3-oQ2 \ --prompt Explain Bayes theorem in two sentences. --max-tokens 300第 3 步可选Python API 加载。from mlx_lm import load, generate model, tokenizer load(mlx-community/Hy3-oQ2)生成参数遵循 generation_config.jsondo_sample: true、temperature: 0.9、top_p: 1。八、常见问题 FAQQ2.7 bits/weight 和纯 2-bit 差在哪纯 2-bit 是一刀切敏感张量被压得太狠会直接崩坏重复循环、算不对简单乘法oQ2 把约 19.5% 的关键张量保留 8 bit多花 0.7 bpw 换来能用且稳定代价只是多几十 GB 磁盘。Q为什么需要 128 GB 内存权重 92 GB KV cache 运行开销实测峰值 99 GB。KV cache 随上下文长度增长128 GB 是最小舒适线。Q想自己量化 Hy3 行不行可以但注意第四节的大坑直接对 556 GB 原模型做 oQ 会撑爆内存和 Metal 看门狗需要先做一个能装进内存的中间量化版当敏感度代理。九、写在最后Hy3-oQ2 展示了 2026 年本地大模型的一条清晰路线MoE 大参数 校准量化 Apple Silicon 统一内存让 295B 级模型在消费级顶配 Mac 上以 33 tok/s 的速度可用。理解 oQ 校准测敏感度 → 按张量分配位宽和 2.7 bits/weight混合精度的加权平均、约 1/6 压缩比这两个概念你就能读懂大部分低比特量化模型卡了。赞分享【免费下载链接】Hy3-oQ2项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Hy3-oQ2点击查看免费下载相关推荐Fara1.5-4B基准测试全解读WebVoyager 80.8分意味着什么Fara1.5 4B基准测试全解读WebVoyager 80.8分意味着什么 Fara1.5 4B 是微软研究院 AI Frontiers 团队发布的 4BMuseVLA 80.6%成功率意味着什么跨传感器泛化性能深度解读MuseVLA 80.6%成功率意味着什么跨传感器泛化性能深度解读 MuseVLA 是微软推出的自适应多模态感知视觉 语言 动作Vision LanguagECE 0.081 意味着什么Laya 的置信度校准如何让「模型认怂」变成可用能力ECE 0.081 意味着什么Laya 的置信度校准如何让「模型认怂」变成可用能力 大模型时代最危险的一句话不是我不知道而是我非常确定地错了。面对一人工智能机器学习强化学习NLP内容安全创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考