1. 类比预训练像让模型读完整个图书馆学会语言、常识和推理。微调像入职后培训教它“在我们公司客服该怎么说话”“合同该怎么审”“代码该怎么写”。提示工程每次现场给它写详细工作说明。RAG允许它开卷考试临时查资料。2. 微调到底改了什么预训练模型已经很强但它是通用的。微调会用你的特定数据继续训练调整模型参数让它学会特定格式总是输出 JSON、表格、固定话术。特定风格更专业、更口语、更像某个角色。特定任务分类、抽取、翻译、代码生成、医疗问答。特定领域术语法律、金融、工业、游戏等。所以微调不是简单“加知识”更多是改行为、改格式、改风格、改任务模式。3. 常见微调类型全量微调更新所有参数效果最好但算力贵容易“灾难性遗忘”。参数高效微调PEFT只训练一小部分参数比如LoRA、QLoRA、Adapter、Prefix Tuning。消费级显卡也能玩是目前主流。指令微调SFT用“指令-回答”数据教模型听懂人话、按指令办事。对齐微调用人类偏好数据做RLHF、DPO让模型更有用、更安全、更诚实。4. 典型流程定目标到底要它改什么格式风格准确率准备数据几千到几万条高质量“输入-输出”对质量比数量重要。选基座如 Qwen、Llama、DeepSeek 等开源模型。训练全量或 LoRA调参。评估留出测试集人工打分对比微调前后。部署合并权重或加载适配器。5. 和 RAG、提示工程的区别方式是否改模型适合什么提示工程不改快速试验、简单任务RAG不改私有知识、最新资料、减少幻觉微调改固定格式、特定风格、复杂任务模式关键点如果只是想让模型知道“公司最新产品手册”优先RAG如果想让它“永远用我们公司的语气写周报”微调更合适。6. 什么时候该微调提示工程和 RAG 效果不够。需要稳定输出特定格式。需要模型学会复杂推理步骤或领域黑话。想把大模型能力蒸馏到小模型降低推理成本。7. 坑数据质量差垃圾进垃圾出。过拟合背答案换问法就错。灾难性遗忘通用能力下降。成本全量微调很贵LoRA 便宜但效果有上限。知识更新微调不适合频繁更新事实RAG 更合适。
