AMCT 大模型 OFMR 量化实践基于昇腾 AI 处理器的 HiF8/FP8 低比特量化指南【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct导读本文以 AMCT昇腾 AI 处理器亲和的模型压缩工具官方 OFMR 量化示例 examples/algorithms/ofmr/README_en.md 为核心系统讲解 OFMROutput-Factorized Minimum-MSE-Rate输出分解最小 MSE 误差量化算法在 Llama2-7B、Qwen2-7B、Qwen3-8B 等大语言模型上的完整落地流程。读完本文你将掌握如何通过一行配置调用HIFP8_OFMR_CFG完成模型量化、理解 OFMR 的指数候选搜索与逐层 MSE 调参原理、熟练运行run_llama2_samples.py/run_qwen_samples.py示例脚本并学会用 PPL困惑度指标验证量化前后精度差异。1 OFMR 算法背景与量化原理OFMR 是 AMCT 内置的大模型量化算法之一主要用于将大语言模型的权重和激活值量化为 8 位浮点格式HiF8 或 FP8以在昇腾 AI 处理器上实现低比特推理同时通过逐层误差最小化来抑制量化带来的精度损失。从源码实现看OFMR 的核心思路是指数候选exponent candidate搜索 MSE 误差最小化在 ofmr_quant_module.py 中定义了候选指数集EC_CAND tuple(range(-5, 6))即指数从 -5 到 5 共 11 个候选值每个候选对应一个缩放因子scale 2**ec校准阶段逐层计算「量化权重/量化激活后输出」与「原始 FP16 输出」之间的 MSE 损失compute_mse基于 FP64 累加后求均值对权重和激活分别累计wts_quant_loss与act_quant_loss校准完成后选择使 MSE 最小的指数作为该层的缩放因子权重缩放scale_w_calc_scale_w与激活缩放scale_d_calc_scale_d均通过torch.min取损失最小的候选指数得到若量化过程出现 NaN/Inf 损失代码会抛出RuntimeError提示检查权重或激活值保证了异常的可观测性ofmr_quant_module.py。在算法注册层OFMR 通过 algorithms/init.py 完成挂载AlgorithmRegistry.register(ofmr, Linear, OfmrQuant, [NpuWeightQuantizedLinear, NpuQuantizationLinear]) AlgorithmRegistry.register(ofmr, Conv2d, OfmrQuant, NpuQuantizationConv2d)即 OFMR 既支持Linear层可部署为仅权重量化算子或权重激活量化算子也支持Conv2d层同时 common/utils/vars.py 中声明了hifloat8 hifloat8、float8_e4m3fn float8_e4m3fn、NOT_QUANTIZE hifloat8、NOT_QUANTIZE float8_e4m3fn等「权重类型-激活类型」组合均支持 OFMR其中NOT_QUANTIZE即对应**仅权重量化weight-only**模式。2 量化前提与运行环境准备2.1 安装依赖包示例运行所需的 Python 依赖清单见 examples/algorithms/ofmr/requirements.txt核心依赖包括torch2.7.1PyTorch 基础框架torch_npu昇腾 NPU 的 PyTorch 适配插件版本需与 Python 和 torch 版本匹配transformers、accelerate用于加载 HuggingFace 格式的大模型datasets在线加载校准集与测试数据集tqdmPPL 评测进度条展示。需要特别注意的是torch_npu 包版本必须与 Python、torch 包版本相匹配并且必须预先安装 CANN 软件包否则无法在昇腾 AI 处理器上完成推理与量化。2.2 模型与数据集准备本示例以以下三款主流开源大模型为演示对象模型说明Llama2-7BLLaMA2 系列 70 亿参数因果语言模型Qwen2-7BQwen2 系列 70 亿参数模型Qwen3-8BQwen3 系列 80 亿参数模型模型需用户自行下载 HuggingFace 格式的权重并将模型路径通过--model_path参数传给脚本校准集使用pilevalpile-val-backup数据脚本中默认采样 512 条样本并按 block 切分示例脚本中 block_size256详见 utils.py测试集使用wikitext2wikitext-2-raw-v1通过datasets在线加载详见 utils.py。2.3 简易量化配置HIFP8_OFMR_CFG示例内置了开箱即用的 OFMR 量化配置一行代码即可获取from amct_pytorch import HIFP8_OFMR_CFGHIFP8_OFMR_CFG在 amct_pytorch/common/config/config.py 中的完整定义如下HIFP8_OFMR_CFG { batch_num: 1, quant_cfg: { weights: { type: hifloat8, symmetric: True, strategy: tensor, }, inputs: { type: hifloat8, symmetric: True, strategy: tensor, }, }, algorithm: {ofmr}, }同时仓库还提供了 FP8 版本的 FP8_OFMR_CFG将权重与激活类型替换为float8_e4m3fn并默认跳过lm_head层可供按需切换使用。3 量化配置字段详解OFMR 支持仅权重量化和**全量化权重激活**两种模式支持的量化类型与配置字段如下表完整继承自官方 README 并补充源码级说明字段类型说明取值范围注意事项batch_numuint32量化使用的 batch 数量1示例中固定为 1skip_layersstr跳过量化的层/支持模糊匹配当配置字符串为层名字串或与层名一致时跳过该层量化且不生成量化配置字符串必须包含数字或字母weights.typestr量化后权重类型float8_e4m3fn / hifloat8/weights.symmetricbool对称量化TRUE/weights.strategystr量化粒度tensor / channel设置为 channel 时缩放因子按输出通道逐通道计算见_calc_scale_w中cout逻辑inputs.typestr量化后激活值类型float8_e4m3fn / hifloat8/inputs.symmetricbool对称量化TRUE/inputs.strategystr量化粒度tensor/algorithmdict量化使用的算法配置{ofmr}/需要修改详细配置时可参考资料自行构造量化配置 dict例如将权重策略改为channel粒度、或移除inputs配置以实现仅权重量化对应源码中的weight_compress_only分支见 ofmr_quant_module.py。关于skip_layers的模糊匹配逻辑在 INT4_AWQ_WEIGHT_QUANT_CFG 等内置配置中即有skip_layers: {lm_head}的典型用法可参考。4 运行 OFMR 量化示例4.1 执行示例脚本在examples/algorithms/ofmr/目录下执行如下命令即可运行示例用户需根据实际情况修改模型路径python3 src/run_llama2_samples.py --model_path/data/Llama2_7b_hf/python3 src/run_qwen_samples.py --model_path/data/Qwen2-7b/python3 src/run_qwen_samples.py --model_path/data/Qwen3-8B/其中run_llama2_samples.py通过LlamaForCausalLM加载模型、run_qwen_samples.py通过AutoModelForCausalLM加载模型均以torch.float16精度加载并转移到 NPU 上脚本入口详见 run_llama2_samples.py 与 run_qwen_samples.py。4.2 示例程序的四个阶段从 run_llama2_samples.py 的源码可以看到完整流程分为四个阶段Phase 0 选择模型与数据加载模型与 tokenizer模型置为 eval 模式并迁移到 NPU从 pileval 在线加载 512 条校准样本并拼接截取Phase 1 量化模型cfg amct.HIFP8_OFMR_CFG后调用amct.quantize(quant_model, cfg)将原始模型替换为 OFMR 量化模块Phase 2 校准推理infer_model(quant_model, samples)以校准数据前向推理触发每层 MSE 损失统计与缩放因子求解随后torch_npu.npu.empty_cache()释放显存Phase 3 转换部署模型amct.convert(quant_model)将量化模块转换为部署算子。此处源码特别注释提示需确保 torch_npu 支持 hifloat8 算子否则请使用量化模型做仿真测试Phase 4 PPL 评测加载 wikitext2 测试集通过test_ppl按model.seqlen默认 2048切分样本计算交叉熵并输出困惑度 Score详见 utils.py。4.3 运行结果与日志若出现如下信息则说明量化成功Test time taken: 1.0 min 59.24865388870239 s Score: 5.477707其中Score为量化模型的 PPL困惑度数值越低代表模型生成质量与原始模型越接近。具体参考数值如下表模型校准集数据集量化前 PPL量化后 PPLLLAMA2-7Bpilevalwikitext25.4725.505QWEN2-7Bpilevalwikitext27.1377.196QWEN3-8Bpilevalwikitext29.7159.808可见三款模型在 HiF8 全量化权重激活后PPL 涨幅均控制在 0.1 以内精度损失极小。推理成功后当前目录会生成量化日志文件./amct_log/amct_pytorch.log可用于排查量化过程与算子替换详情。5 测试与验证仓库在 tests/amct_pytorch/test_ofmr.py 中提供了 OFMR 算法的 ST系统测试用例覆盖 Linear 与 Conv2d 两种算子类型通过 mock 昇腾 NPU 算子如mock_npu_quantize、mock_npu_quant_matmul等验证amct.quantize→ 校准 →amct.convert全链路的正确性并校验OfmrQuant、NpuQuantizationLinear、NpuWeightQuantizedLinear、NpuQuantizationConv2d等模块的替换结果。该测试可作为用户在修改配置或二次开发 OFMR 算法后的回归验证入口。6 小结OFMR 是 AMCT 面向昇腾 AI 处理器提供的大模型 HiF8/FP8 低比特量化方案通过逐层指数候选搜索与 MSE 误差最小化自动确定每层缩放因子支持仅权重量化与全量化两种模式并覆盖 Linear、Conv2d 等多种算子类型。借助官方示例HIFP8_OFMR_CFG与四个阶段的量化-校准-转换-PPL 评测流程开发者可以在 Llama2-7B、Qwen2-7B、Qwen3-8B 等模型上以极小的精度损失PPL 增幅 0.1快速获得可部署到昇腾 NPU 的低比特量化模型。【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
