CANN ops-math量化模式与sparseMode完全指南T/C/K/G量化如何加速大模型推理【免费下载链接】ops-math本项目是CANN提供的数学类基础计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-math在昇腾NPU上跑大模型推理绕不开两个核心概念量化模式T/C/K/G量化和sparseMode稀疏注意力模式。CANN ops-math 是 CANN 提供的数学类基础计算算子库负责网络在 NPU 上的加速计算它内置的 Matmul 类算子正是通过 T/C/K/G 不同量化粒度和 0~8 共 9 种 sparseMode把大模型的矩阵运算和注意力计算压缩得又快又省。本文带你一次性搞懂它们各自是什么、怎么选。一、为什么量化能让推理更快把浮点矩阵从高 bit 转成低 bit 计算再借助量化参数 scale 还原就能在精度近似等价的前提下显著提升计算效率、降低显存占用。ops-math 支持两种量化策略策略适用对象特点⚡ 静态量化权重 weight量化参数预先确定推理性能更好 动态量化激活 activation在线计算量化参数精度更高性能略低详细原理可参考量化介绍二、T/C/K/G 量化模式一图看懂量化粒度量化粒度是指对矩阵乘法cube中左矩阵通常是激活和右矩阵通常是权重采用不同的量化级别。设左矩阵 shape 为 (m, k)、右矩阵为 (k, n)k 为 reduce 轴1. T 量化pertensor整个 Tensor 共用一个参数最简单的粒度量化参数 shape 为 (1,)适合数据分布均匀的场景。2. C 量化perchannel右矩阵每个 channel 独立参数量化对象是右矩阵权重量化参数 shape 为 (n,)。大模型权重量化最常用的就是这种模式常作为伪量化单独使用。3. K 量化pertoken左矩阵每个 token 独立参数量化对象是左矩阵激活每个 token 单独计算 scale参数 shape 为(m,)。激活分布差异大时K 量化能明显提升精度。4. G 量化pergroupreduce 轴上分组量化在 k 轴上按 group sizegs分组每组独立参数左矩阵生成 (m, k/gs)右矩阵生成 (k/gs, n)。粒度更细、精度更高是新一代大模型推理的热门选择。三、常见组合量化推理加速的黄金搭配实际推理中左右矩阵往往采用不同粒度组合组合名称含义典型场景T-Cpertensor perchannel经典全量化权重 C 激活 TK-Cpertoken perchannel激活按 token 细化精度更高G-Bpergroup perblock细粒度混合量化T-CGpertensor perchannel-pergroup权重混合粒度C伪量化仅权重量化权重预量化、激活保持高精度MXOCP 低精度格式FLOAT8_E8M0、group size32 的 G 量化特例选型建议显存紧张、追求极限吞吐 → T-C精度敏感如长文本、小模型→ K-C 或 G 系组合权重已离线量化好的部署 → 直接用 C 伪量化。四、sparseMode大模型注意力的 9 种省算姿势在大模型里sparseMode 指注意力计算中 mask 的稀疏化设计。其原理是利用 attenMask 遮蔽 QKᵀ 中不需要计算的位置从而跳过无效计算ops-math 支持 sparseMode 0~8 共 9 种模式完整对照表如下sparseMode模式名称说明0defaultMask默认模式不传 mask 则不遮蔽配合 preTokens/nextTokens 支持 causal、band 场景1allMask传入完整 attenMask 矩阵最灵活2leftUpCausal左上顶点划分的下三角causal使用压缩下三角矩阵3rightDownCausal右下顶点划分的下三角参数起点为右下角4band仅计算 preTokens~nextTokens 之间的带状区域5prefix 非压缩rightDownCausal 左侧 prefix 矩形mask 格式 BNSS/B1SS6prefix 压缩压缩下三角 矩形混合矩阵节省 mask 存储7varlen 外切rightDownCausal长序列多卡切 query仅 varlen 场景支持8varlen 外切leftUpCausal长序列多卡切 query仅 varlen 场景支持完整定义与参数约束sparse模式介绍典型模式直观对比sparseMode2leftUpCausal自回归解码最常见的 causal 下三角mask 以左上角为起点传入优化后的压缩下三角矩阵即可无需手工构造完整 mask。sparseMode4band滑动窗口注意力的利器只计算 preTokens 与 nextTokens 之间的带状区域长上下文场景下可大幅减少计算量。快速选择 sparseMode 的决策路径普通自回归因果解码→ 选2 或 3注意区分参数起点是左上还是右下滑动窗口 / 局部注意力→ 选4band或模式 0 配合 preTokens/nextTokens带 prefix 的 KV Cache 拼接→ 选5非压缩或6压缩长 prefix 优先用 6 省显存单序列超长、多卡切分 query→ 选7 或 8varlen 外切并按文档设置 preTokens/nextTokens 保证精度任意自定义 mask→ 兜底用1allMask或0defaultMask五、小结T/C/K/G 量化决定算多快粒度越细精度越高组合T-C、K-C、G-B在吞吐与精度间取得平衡sparseMode 0~8决定算多少causal、band、prefix、varlen 外切各有对应模式让注意力计算只花在有效 token 上两者叠加使用就是 CANN ops-math 加速大模型 NPU 推理的核心路径 更多基础概念数据类型、数据格式、两段式接口等可参阅 基本概念。【免费下载链接】ops-math本项目是CANN提供的数学类基础计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-math创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
