【免费下载链接】turboquantTurboQuant: Near-optimal KV cache quantization for LLM inference (3-bit keys, 2-bit values) with Triton kernels vLLM integration项目地址https://gitcode.com/gh_mirrors/tu/turboquant点击查看免费下载TurboQuant是一款面向 LLM 推理的 KV Cache 量化工具ICLR 2026 论文实现通过3-bit 键 2-bit 值的近乎最优量化方案压缩 KV 缓存配合 Triton 融合算子和 vLLM 集成实测可释放约 30% 的 KV 显存让长上下文容量翻倍且推理速度不降反升。本文带你用 5 步完成接入从安装到释放显存全程只需几分钟。为什么需要 KV Cache 量化大模型推理时每个历史 token 的 Key/Value 都要常驻显存。上下文越长KV Cache 占比越高——在 131k 上下文的 8 卡 RTX 3090 实测中单卡 KV Cache 就占到755MB是显存瓶颈的首要来源。TurboQuant 的思路是把 KV 从 16-bitbf16压缩到3-bitKey/ 2-bitValue同时通过数学设计保证注意力分数估计无偏几乎不损失输出质量。核心数据来自 README.md 实测指标基线 (bf16 KV)TurboQuant (3b Key / 2b Val)Prefill 吞吐 (30k 上下文)1,804 tok/s1,907 tok/s (5.7%)Decode 吞吐 (30k 上下文)1.264 tok/s1.303 tok/s (3.1%)最大 token 容量457,072914,1442.0x第 1 步环境准备与一键安装TurboQuant 依赖轻量核心只需 PyTorch 2.1 与 vLLM 0.16无需额外编译。环境要求Python ≥ 3.10CUDA GPUvLLM ≥ 0.16已在 vLLM 0.18.0 / PyTorch 2.10 / CUDA 12.8 上验证git clone https://gitcode.com/gh_mirrors/tu/turboquant cd turboquant pip install -e .[vllm,triton]安装脚本见 setup.py其中vllm和triton为可选依赖按需安装即可。第 2 步理解 TurboQuant 压缩原理在动手之前花 1 分钟了解它如何做到压得狠还不掉质5 个环节各对应一个模块随机正交旋转— 把信息打散到各维度turboquant/rotation.pyLloyd-Max 最优标量量化— 对旋转后的 Beta 分布做最优码本量化turboquant/codebook.pyQJL 投影— 用 1 bit/维度记录残差符号保证内积估计无偏turboquant/quantizer.pyValue 分组量化— 2-bit/4-bit 分组缩放量化turboquant/kv_cache.py位打包— 2-bit 时 4 个值塞进 1 字节实现约 4.4x 压缩预生成的 Lloyd-Max 码本已随仓库提供覆盖 head_dim64/128/576、1~4 bit 多种规格开箱即用如 turboquant/codebooks/codebook_d128_b3.json。量化结果Key 压缩余弦相似度 1.000000近乎无损Value 2-bit 为 0.940、4-bit 提升至 0.997。第 3 步给 vLLM 模型注入 TurboQuant 钩子TurboQuant 通过 monkey-patch 方式挂在 vLLM 的 attention 层上不改一行 vLLM 源码。接入入口在 turboquant/integration/vllm.py兼容旧接口 turboquant/vllm_attn_backend.py。拿到 vLLM 的model_runner后核心调用只有一行from turboquant.vllm_attn_backend import install_turboquant_hooks, MODE_ACTIVE install_turboquant_hooks( model_runner, key_bits3, # Key 量化位数默认 3 value_bits2, # Value 量化位数默认 2追求质量可改 4 buffer_size128, # 近端 token 环形缓冲区大小 modeMODE_ACTIVE, # 混合模式压缩历史 精确近端 )模式说明完整逻辑见 turboquant/integration/vllm.py模式行为适用场景capture_only只采集压缩 KV注意力仍用 Flash观察/验证阶段hybrid即MODE_ACTIVE解码时用压缩历史 精确近端 token推荐生产模式off直通不启用对照基线前 4 层会自动使用更高 bit 数3→4 bit Key因为浅层对精度更敏感这个细节已内置在钩子中。第 4 步一键释放显存效果立竿见影钩子生效后原始的 paged KV 缓存对已压缩层来说是冗余的。调用free_kv_cache即可释放实现见 turboquant/integration/vllm.pyfrom turboquant.vllm_attn_backend import free_kv_cache freed free_kv_cache(model_runner) # 返回释放的字节数 print(fFreed {freed / 1e6:.0f} MB)多卡 TP 场景下可通过 vLLM 的collective_rpc在每张 worker 上执行完整示例参考 proof.py 中的 TQ 流程。第 5 步验证收益与参数调优验证收益仓库自带 A/B 对比基准脚本 proof.py 和综合基准 benchmark.py分别覆盖显存、吞吐、质量、上下文容量四个维度CUDA_VISIBLE_DEVICES0,1,4,6 python proof.py调优建议经验法则默认 3-bit Key 2-bit Value综合最优余弦相似度 0.940适合绝大多数场景质量敏感医疗/法律把value_bits提到 4余弦相似度升至 0.997显存收益依然显著纯 dense 模型收益最大理论上可达77% 显存节省4.4x 压缩⚠️MoE / 混合架构线性注意力层Mamba/GDN不可压缩实际节省约 30%如 Qwen3.5-35B MoE 实测每 GPU 稳定省 30.9%实测性能一览在 8× RTX 3090Qwen3.5-35B-A3B MoETP8上的完整数据节选自 README.md上下文基线 KV/GPUTQ KV/GPU单卡节省8,00055.7 MB38.5 MB17.2 MB64,000374.3 MB258.5 MB115.8 MB131,000755.7 MB521.9 MB233.8 MB容量收益基线可容纳 1,411,680 tokens接入 TurboQuant 后升至2,043,808 tokens1.45x或者用释放出的显存多跑3 路并发 131k 上下文请求。质量侧所有长度的 needle-in-haystack 测试全部通过。常见限制与注意事项Prefill 阶段仍走 paged cacheKV 缓存在引擎初始化时分配TurboQuant 在 prefill 后接管真正的零分配需要更深的 vLLM 集成仅压缩全注意力层MLA / 线性注意力层不受影响这是 MoE 模型收益打折的原因Value 量化是质量瓶颈2-bit 值会引入 cos_sim 0.94 的退化敏感场景请切换 4-bitHybrid 解码会反量化历史计算时压缩 token 会展开为 float32省的是存储而非算力Triton 融合算子已就绪见 turboquant/triton_kernels.py尚未接入 hybrid 路径项目结构速览turboquant/ codebook.py # Lloyd-Max 最优标量量化器 codebooks/ # 预生成码本d64/128/576, bits1~4 rotation.py # 正交旋转 QJL 投影矩阵 quantizer.py # 论文算法 1 2 实现 kv_cache.py # KV 缓存管理 Value 位打包 capture.py # 注意力层 KV 采集钩子 store.py # 压缩 KV 存储懒展平 score.py # 基于压缩 Key 的注意力打分 integration/vllm.py # vLLM 适配器核心接入点 triton_kernels.py # 3 个融合 Triton 解码算子 vllm_attn_backend.py # 兼容旧接口 shim proof.py # A/B 基准基线 vs TurboQuant benchmark.py # 综合基准显存/吞吐/质量/容量总结TurboQuant 用 5 步即可完成 vLLM 接入装依赖 → 懂原理 → 挂钩子 → 释显存 → 验收益。以一行install_turboquant_hooks加一行free_kv_cache的代价换来 30% 以上的 KV 显存节省和最长 2 倍的上下文容量——对于正在被长上下文显存卡脖子的推理服务这是目前近乎零成本、有理论保证ICLR 2026的扩容方案。动手前建议先用capture_only模式观察采集是否正常再切到MODE_ACTIVE释放显存稳妥上手。赞分享【免费下载链接】turboquantTurboQuant: Near-optimal KV cache quantization for LLM inference (3-bit keys, 2-bit values) with Triton kernels vLLM integration项目地址https://gitcode.com/gh_mirrors/tu/turboquant点击查看免费下载相关推荐twitter-cli输出格式详解从美观表格到YAML/JSON结构化数据twitter cli输出格式详解从美观表格到YAML/JSON结构化数据 twitter cli是一款功能强大的Twitter/X命令行工具支持在终端中查vllm-metal TurboQuant 实战KV 缓存压缩 2.5 倍扩展上下文的原理与配置vllm metal TurboQuant 实战KV 缓存压缩 2.5 倍扩展上下文的原理与配置 vllm metal 是 vLLM 在 Apple Sili5分钟快速上手OpenCode VSCode插件让AI编程效率翻倍5分钟快速上手OpenCode VSCode插件让AI编程效率翻倍 还在为频繁切换窗口使用AI编程助手而烦恼吗OpenCode VSCode插件将彻底改变你人工智能AI 应用AI Agent代码智能体CLI开发者工具创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
