08 分类微调：把 GPT 变成垃圾邮件分类器系列第 8 篇。到现在为止，我们的 GPT 只会"生成文本"。这一篇开始微调——让预训练模型适配特定任务。首先是最简单也最实用的形态：分类微调，用 GPT 做垃圾邮件识别。对应《从零构建大模型》第 6 章：微调策略、数据集准备、替换输出头、冻结层、训练与准确率评估。1. 为什么预训练模型不能直接做分类？预训练 GPT 的输出是下一个 token 的概率分布（50,257 类），输出层是一个巨大的 token 头。而垃圾邮件分类只需要输出2 个标签（spam / not spam）。直接把"下一个词"的任务硬当分类用，既不高效也不对路。微调的思路是：保留预训练学到的"语言理解能力"，只把顶部的输出层换成任务需要的分类头，再用带标签数据训练。一个关键前提：微调必须在预训练之后进行。预训练教给模型"语言长什么样"，微调教给模型"怎么用语 来自尧图内容编辑团队
内容团队 本文由尧图网络内容编辑团队执笔。团队由资深项目经理、前端工程师与设计师组成，所有内容均来自亲手交付的真实项目，先讲清问题、再给出可落地的解法。尧图深耕北京网站建设十年，服务过京华建材集团、智造科技等各行业客户，把一线经验沉淀为可复用的行业观察。
相关资讯与近期热门内容
建站决策前值得细读的三篇
