ELUTQ: Efficient LUT-Aware Quantization for Deploying Large Language Models on Edge Devices

文章核心总结与翻译一、主要内容本文提出ELUTQ，一种面向边缘设备部署大语言模型的高效量化框架，核心是创新的层级线性量化（HLQ）格式。HLQ适配位串行查找表（LUT）基矩阵乘法（GEMM），在不增加计算开销的前提下改善权重分布拟合效果，降低低比特量化误差。框架整合了后训练量化（如HLQ-GPTQ）和高效微调技术，通过磁盘卸载、惰性加载等系统优化，仅需64GB CPU内存和48GB VRAM即可完成LLaMA3.1-70B模型量化。同时设计了纯C++推理内核，在Apple M2芯片上实现2比特量化LLaMA2-7B模型每秒25+令牌的推理吞吐量，兼顾精度、效率与硬件兼容性。二、创新点层级线性量化（HLQ）：非均匀量化格式，通过二进制组合与最小二乘优化，精准捕捉权重的钟形分布，2-3比特下大幅降低困惑度，且不增加LUT基GEMM的计算开销。多量化方案兼容：与后训练量化（PTQ）和高效微调技术正交，可无缝集成（如HLQ-GPTQ），在低比特场景下显著提升模型精度。内存高效优化：引入磁盘卸载、分块计算等技术，大幅降低CPU和GPU内存需求，使70B级模型量化可在消费级硬件完成。边缘设备适配：专为HLQ设计高性能CPU内核，支持ARM/x86架构，通过权重重排、镜像存储等策略优化内存访问，实现高效端到端推理。