【AI大模型】GPTQ 量化实战：4-bit 量化让 70B 模型跑在单卡上

【AI大模型】GPTQ 量化实战：4-bit 量化让 70B 模型跑在单卡上写在前面：70B 也能塞进一张卡70B 模型在 FP16 下需要约 140GB 显存，通常要 8 张 A100。但通过 GPTQ 4-bit 量化，模型能压到 35GB 左右，配合 KV cache，一张 48GB 甚至 24GB 的卡就能跑起来。这就是 GPTQ 实战的价值。本文完整跑通 GPTQ 4bit 流程：原理 → 校准数据 → 量化 → 验证 → vLLM 部署。全文代码可直接运行。一、GPTQ 为什么能把 70B 压到这么小GPTQ 的核心是逐层、按组地最小化量化误差：它不是简单把每个权重四舍五入，而是用校准数据估计“哪些权重更重要”，尽量保留它们，同时修正量化引入的误差。分组量化——每组（如128个权重）共享一个缩放系数，精度更高。误差补偿——量化一列后，用 Hessian 修正后续列。后训练——不需要重训，直接压缩已有模型。一句话：GPTQ 用“更聪明的舍入 + 误差补偿”换来了极小的精度损失。二、先看量化收益以 70B 为例，量化前后差异明显：指标FP16 原模型GPTQ