文章主要内容总结本文提出了一种名为SLIM的异构加速器，旨在解决资源受限的边缘设备上稀疏大语言模型（LLM）推理的效率问题。LLM虽在自然语言处理中表现卓越，但因其模型规模庞大、内存密集型操作（如前馈网络FFN和多头注意力MHA），在边缘设备上高效推理面临挑战。SLIM通过算法与硬件协同设计，充分利用LLM的稀疏性（推理中多数神经元未激活），仅处理激活的神经元以减少数据移动。具体而言：算法层面：提出基于自适应阈值的高效推理算法，支持运行时可配置的稀疏性，且精度损失可忽略；硬件层面：设计异构架构，结合近存储处理（NSP）和存内处理（PIM）技术——FFN权重存储在高密度3D NAND中，由NSP单元计算，缓解内存需求；内存密集型的MHA由PIM模块处理，降低数据移动和能耗；性能评估：SLIM在吞吐量上比SSD-GPU系统提升13-18倍，能效比DRAM-GPU系统提升9-10倍，同时保持低延迟。创新点自适应稀疏性推理算法：通过低秩稀疏预测与阈值机制，实现运行时稀疏性可调，平衡效率与精度，且无需大量微调，部署成本低；异构NSP-PIM硬件架构：整合SSD的NSP和DRAM的PIM优势，FFN在NSP处理、MHA在PIM处理，避免PCIe总线的数据传输瓶颈，适合资源受限的边缘环境；系统级优化
