10 高效微调：LoRA 实战（把参数量压到 1%）

10 高效微调：LoRA 实战（把参数量压到 1%）系列第 10 篇。前一篇做全量微调（SFT）训练整个 355M 模型，很费算力。这一篇介绍**参数高效微调（PEFT）**的明星方法——LoRA（Low-Rank Adaptation，低秩适配），用极小的可训练参数量，达到接近全量微调的效果。对应《从零构建大模型》附录 E：矩阵秩、分解与低秩近似、LoRA 原理、LinearWithLoRA 实现、替换 Q/V 投影层、效果评估。1. 为什么要高效微调？1.1 全量微调的成本全量微调 = 更新模型所有参数。以 355M 的 GPT-2 medium 为例：每个任务都要训练完整 355M 参数 → 每个任务一份完整副本；显存、时间、存储成本随"任务数 × 模型大小"线性增长。现实中一个公司可能要微调几十个垂直任务（客服、审核、翻译……），每个任务存一个 355M 全模型，成本爆炸。1.2 核心洞察：权重更新其实是"低秩"的预训练模型的权重W已经很大（如 1024×1024）。微调时我们希望加一个"更新量"ΔW，让W' = W + ΔW