在 64K 长上下文推理中，以 128 头、单头 128 维的注意力层配置为例，传统多头注意力（MHA）每生成一个 Token 就需要从显存读取 64 KB 的 KV 缓存；DeepSeek 提出的多头潜在注意力（Multi-Head Latent Attention, MLA）通过 512 维潜在向量与解耦 RoPE 机制，将单 Token 缓存体积压缩至 1.125 KB。但在底层算子实现中，若直接在显存中反投影还原全维度 Key/Value，这 98.24% 的显存压缩收益将完全被中间激活读写开销抵消。本文系统推导矩阵吸收定理在算子级的融合实现，深入分析 Prefill 与 Decode 阶段的硬件计算特性差异，并结合 FlashMLA 与 NVFP4 微缩放格式剖析现代推理系统的工程落地路径。+--------------------------------------------------------------------------------------------------+ | DeepSeek MLA 核心架构全景技术栈 | +--------------------------------------------------------------------------------------------------+ | [模型表示层] Hidden States h_t (d=7168) | |
