边缘推理与NPUMaths, CS AI Compendium端侧大模型部署指南【免费下载链接】maths-cs-ai-compendiumBecome a cracked AI/ML researcher/engineer with this unconventional textbook covering maths, computing, and ML with intuition.项目地址: https://gitcode.com/GitHub_Trending/mat/maths-cs-ai-compendium边缘推理Edge Inference让大模型直接跑在手机、笔记本和 IoT 设备上无需联网、无需上传数据。这份指南基于开源教材Maths, CS AI Compendium覆盖数学、计算与 AI 的非传统教科书中的 Edge Inference 章节带你完整理解NPU、模型量化、端侧大模型部署的每一步——即使你是新手也能看懂。为什么需要端侧推理4 个核心优势云端推理有四大代价需要联网、网络往返延迟 50-200 ms、按请求收费、数据要发送到第三方服务器。边缘推理一次性解决了全部四个问题隐私数据不离开设备模型在本地运行⚡低延迟本地响应是即时的没有网络往返零推理成本部署后每次推理不再收费离线可用断网也能工作当然有代价边缘设备的算力和内存比数据中心 GPU 少100-1000 倍必须通过激进优化才能跑起来。看清差距云 GPU 与手机 NPU 资源对比资源云 GPU (H100)笔记本 (M4)手机 (骁龙 8 Gen 3)IoT (ESP32)内存80 GB HBM316-36 GB 统一内存8-12 GB LPDDR5520 KB算力989 TFLOPS (FP8)38 TOPS (Neural Engine)45 TOPS (NPU)0.001 TOPS功耗700 W15-30 W5-10 W0.1 W云 GPU 与手机 NPU 之间有约 20 倍算力差距与微控制器之间则是约 100 万倍。不同的设备需要不同级别的压缩和不同的模型架构这是端侧部署的第一课。模型压缩流水线5 步把大模型搬上手机端侧部署的压缩不是单一技巧而是一条顺序执行的流水线顺序很重要颠倒会损失精度完整模型 (FP32, 70B 参数) ↓ ① 知识蒸馏 → 更小的模型 (7B) ↓ ② 结构化剪枝 → 移除冗余头/层 (4B 有效) ↓ ③ 量化 (INT4) → 缩小 4 倍 (2 GB) ↓ ④ 编译器优化 → 融合算子、优化内存布局 ↓ ⑤ 运行时 → 端侧执行蒸馏先用大模型把能力教给小模型减少架构规模剪枝删除冗余的层和注意力头去掉结构量化降低数值精度减小体积编译为目标硬件生成优化内核运行时执行加载到目标设备跑起来量化入门INT4 是如何把模型缩小 4 倍的量化Quantisation是端侧部署的核心技术详见 chapter 17 - AI inference/01. quantisation.md。几个新手必须知道的关键点精度换体积INT8 比 FP16 小 2 倍INT4 小 4 倍。70B 模型 FP16 需要 140 GBINT4 只需 35 GB推理是内存带宽瓶颈生成每个 token 都要把全部权重从内存读一遍权重越小每秒生成的 token 越多——这就是量化能带来近乎线性加速的原因校准PTQ训练后量化只需喂给模型 128-512 条样本统计激活值就能算出最优缩放因子成本几乎为零量化还有一个易被忽略的细节——量化粒度整张张量、每通道、还是每小组共享一个缩放因子直接影响精度NPU 是什么主流端侧加速器一览NPU神经网络处理单元是专为 ML 推理设计的固定功能加速器对矩阵乘、卷积、激活等标准操作比 GPU 省电得多。主流端侧加速器硬件规格接入方式Apple Neural Engine16 核约 38 TOPS (INT8)Core MLQualcomm Hexagon NPU支持 INT8 / INT4 推理SNPE 或 ONNX Runtime QNNGoogle Edge TPU4 TOPS2W仅 INT8TFLite手机 GPU (Adreno/Mali/Apple)支持 FP16、INT8Vulkan / OpenCL / Metal委托模式Delegation是实战关键运行时把模型图拆分支持的算子交给 NPU不支持的交给 CPU。NPU 占比越高性能和能效越好。端侧运行时让模型真正跑起来每个平台有自己的标准答案运行时llama.cpp单文件 C 的 LLM 推理引擎支持 GGUF 量化Q4/Q5/Q8、CPU (AVX/NEON)、Apple Metal、CUDA、Vulkan是消费级硬件跑大模型的首选ONNX Runtime跨平台之王覆盖 Windows/Linux/macOS/iOS/Android可接 CPU、GPU 和多种加速器后端TensorFlow LiteGoogle 的端侧运行时约 1 MBAndroid 部署标准Core MLApple 平台专属自动调度 Neural Engine / GPU / CPUExecuTorchMeta 推出的端侧 PyTorch 运行时支持 AOT 编译和算子级硬件委托模型从 PyTorch 到硬件之间还隔着一套编译器栈导出图 IR → 常量折叠、死代码消除、算子融合如 convbnrelu 融合成一个算子可提速 2-5 倍、内存规划 → 生成机器码或 NPU 指令。端侧 LLM 实测哪些模型能在手机上跑得益于小模型 激进量化手机上跑 LLM 已经现实可行模型参数量量化后体积目标设备实测性能Phi-3 Mini3.8B~2 GB (Q4)手机/笔记本iPhone 15 约 15 tokens/sGemma 2B2B~1.5 GB (Q4)手机Pixel 8 约 20 tokens/sLlama 3.2 1B1B~700 MB (Q4)手机约 30 tokens/sLlama 3.1 8B8B~4.5 GB (Q4)笔记本M2 约 20 tokens/s⚠️三大真实挑战选型时务必考虑内存3B Q4 模型占 2 GB但长对话的 KV-cache 还会大幅追加手机上下文通常只能限制在 2-4K token热节流持续生成 30 秒后 SoC 会降频防过热性能下降 30-50%电池3B 模型以 15 tokens/s 运行消耗约 3-5W半小时对话耗电约 5%——偶尔用没问题常驻应用则吃力降低延迟的 4 个进阶技巧压缩之外还有几招可以显著降低端侧推理延迟推测解码Speculative Decoding小模型快速打草稿生成多个候选 token大模型一次前向并行验证。由于验证分布与直接生成完全一致无损且可提速 2-3 倍KV-cache 缓存对重复查询自动补全、代码补全复用已算好的 KV-cache跳过 prefill 阶段。分页式内存管理PagedAttention 思想让缓存利用率更高提前退出Early Exit中间层加分类头简单输入在第 6 层共 24 层就返回结果跳过剩余 18 层模型分区编译器根据剖析结果把算子分配到 NPU矩阵乘、GPU不规则操作和 CPU其他各取所长延伸联邦学习——数据永远不出设备联邦学习Federated Learning在多设备间训练模型而不集中数据设备用本地数据微调 → 只把梯度更新不是数据发回服务器 → 服务器做平均聚合 $W_{\text{new}} \frac{1}{K} \sum_{k1}^{K} W_k$。配合差分隐私给更新加噪和梯度量化/稀疏化减少通信量已落地于 Gboard 键盘预测、Apple 语音识别和健康监测。学习路径从教材到动手想系统掌握端侧部署背后的原理推荐按顺序阅读 chapter 17 - AI inference/04. edge inference.md端侧约束、压缩流水线、运行时、NPU、联邦学习 chapter 17 - AI inference/01. quantisation.md量化公式、PTQ/QAT、GPTQ、AWQ chapter 17 - AI inference/05. scaling and deployment.md推测解码、前缀缓存、推理框架对比 chapter 16 - SIMD and GPU programming/04. GPU architecture and CUDA.md理解 NPU/GPU 硬件底座 llms.txt全书内容的纯文本版本方便快速检索 mcp/src/index.ts配套的 MCP 服务器可让 AI 助手把全书当作知识库来问答一句话总结端侧大模型部署 蒸馏 剪枝 INT4 量化 NPU 委托 延迟优化。理解这条流水线你就具备了把大模型装进手机的完整认知框架。【免费下载链接】maths-cs-ai-compendiumBecome a cracked AI/ML researcher/engineer with this unconventional textbook covering maths, computing, and ML with intuition.项目地址: https://gitcode.com/GitHub_Trending/mat/maths-cs-ai-compendium创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
