机器学习核心概念：过拟合、欠拟合、正则化与数据划分

这期继续更新“人工智能基础篇概念性名词浅谈”已经来到第二十八讲。前面我把神经网络、卷积、循环网络、注意力机制这些“大词”轮番讲了一遍后台留言也多了起来其中一类问题很有意思大概念听懂了一到自己跑模型就被一堆“小名词”卡住。比如过拟合到底是什么为什么加了正则化效果反而变差训练集、验证集、测试集到底按什么比例分欠拟合和偏差方差是不是一回事今天这一讲就把这一串概念性名词放在一起用大白话一次讲清楚。讲完之后你再回去看训练日志和调参攻略会顺畅很多。1. 模型训练的核心目标过拟合、欠拟合与泛化先说一个最基本的判断模型训练的一切烦恼最后都归结为两个方向——训练得不够或者训练得“太多”。训练得不够叫欠拟合训练得太多叫过拟合。而这两个名词中间的平衡点就是模型真正想要追求的东西泛化能力。1.1 过拟合把练习题答案背下来的学生过拟合这个名字很直白。指的是模型在训练集上表现得非常好甚至好到把训练集里的噪声、异常值、偶然误差全部记住了但一旦遇到没见过的数据表现就明显下滑。用一个学生来类比某个学生考前把练习册从头到尾背了一遍连写错的步骤和打印错位的符号都背下来了。做练习册测试当然满分但考试只要题目稍微换一个说法他就不知道该怎么解了。这就是过拟合的典型状态。在训练日志里过拟合通常会呈现一个非常鲜明的信号训练集损失持续下降而验证集损失下降一段时间后开始反弹。两条曲线像岔路口一样越走越远。很多人看到训练集准确率一路飙到98%会很开心其实这时候最该警惕——模型已经从“学习规律”变成了“死记硬背”。过拟合出现的原因通常有几类模型参数量太大远远超过数据量能承载的信息训练轮次拉得太长数据量本身太少或者数据分布有明显的偏向。理论上有一种说法叫“模型容量高、数据包含的信息不足以约束它”白话就是你给了一支笔让它画出所有可能的曲线它当然能画出穿过每个点的歪歪扭扭曲线但这根曲线在新数据上毫无预测意义。1.2 欠拟合与泛化另外两个关键词欠拟合正好相反。模型连训练集上的规律都没抓住训练集和验证集表现都差。还是用学生类比这次是没学完就上考场基础知识都没过关。欠拟合的典型原因包括模型结构太简单、表达能力不够或者训练迭代次数太少又或者正则化加得太重把模型压得不敢“表达”了。泛化则是整个训练过程的终极目标。机器学习里最常引用的一句话就是模型的目标不是记住训练集而是对没见过的数据做出正确预测。泛化能力强意思是模型在新数据上也能保持稳定表现而不是“换一批输入就抓瞎”。理解这三个名词之后你会发现后续所有的概念基本都围绕一个问题如何判断模型正处在欠拟合还是过拟合然后怎么往中间靠。这也是为什么后面几节要花大量篇幅讲偏差方差、正则化和数据集划分——它们都是在帮我们解决同一条主线上的问题。2. 偏差与方差为什么模型的错误可以拆成两半过拟合和欠拟合是现象层面的描述偏差与方差则是更底层、更量化的拆解工具。简单来说一个模型的泛化误差大致由三部分组成偏差、方差和噪声。噪声是无法消除的能优化的只有前两项。搞清楚这两项的区别你才能真正看懂调参时每个操作在干嘛。2.1 偏差瞄准点偏了方差着弹点散开了偏差描述的是模型预测的平均值与真实值之间的差距。可以理解成打靶你打了很多枪弹孔集中在靶心的左下方平均值离靶心很远。这是系统性误差说明模型对问题的理解本身有偏。方差描述的是模型在不同训练集上表现的波动程度。也就是说你换几批不同但同样分布的训练数据训练出来的模型预测结果会不会差很多如果稍微换掉几百条数据模型预测就剧烈抖动那方差就很大。继续用打靶类比弹孔分布很散虽然平均位置也许靠近靶心但每一枪都随机乱飞。在数学上偏差和方差的权衡是一个经典结论模型越灵活偏差越低但方差往往越高模型越简单方差低但偏差会变高。这也是为什么模型复杂度与泛化误差之间通常是一条“U型曲线”简单时欠拟合复杂时过拟合中间某个位置最合适。2.2 四个象限不同模型复杂度的写真可以把偏差和方差组合成四个象限每种组合对应一类模型状态。低偏差低方差是理想状态也是最难达到的低偏差高方差是过拟合的典型画像模型对训练集记得太死换数据就崩高偏差低方差是欠拟合的画像模型稳定地错高偏差高方差则是最糟的情形又乱又偏通常说明数据 or 建模思路有系统性问题。实际案例里最常见的是多项式拟合。用1次多项式拟合一组呈曲线分布的数据拟合出来的直线平均位置离真实曲线很远这就是高偏差但无论换哪组训练数据直线的趋势都差不多方差很低。换到9次多项式多项式可以很好地穿过训练点偏差接近零但换一组训练数据曲线形状变化甚至方向翻转方差极大。中间阶数的多项式反而能同时保持较低偏差与方差。知道这个之后很多调参就有了方向验证集上表现差先看是偏差问题还是方差问题。如果训练集和验证集都差大概率是高偏差优先增加模型复杂度如果训练集好、验证集差则是高方差优先做正则化或增加数据。这一步判断能帮你省掉大量盲目试参数的力气。3. 正则化抑制模型复杂度的三类常规操作正则化是所有应对过拟合手段的总称。核心思想很朴素既然模型太复杂会记住噪声那就给它加点“限制条件”不让它太自由。常见的方法分三层参数层面、结构层面、数据层面。下面逐个聊。3.1 L1正则化与L2正则化惩罚“大参数”的两种姿势参数层面的正则化主要是在损失函数里额外加一项惩罚项。L1正则化在损失后面加上参数绝对值之和L2正则化加上参数平方和。两者都在“逼”模型把权重变小但风格完全不同。L1正则化的特点是能产生稀疏解。什么叫稀疏就是很多权重被压成0。从几何上理解L1的约束区域是带尖角的菱形或高维的“刺球”最优解更容易落在坐标轴上。坐标轴上的点意味着某些特征的权重恰好是0相当于模型自动帮你做了特征选择把无关特征剔掉了。L2的约束区域是圆滑的超球面最优解很少完全落在0上更多是把大权重压成小权重而不是清零。从操作角度看L2在主流深度学习框架里一般就叫权重衰减weight decay用一个参数控制惩罚强度。L1通常需要手动在损失函数里加项。下面我用伪代码说明两种方式的作用位置# 假设模型输出为 logits标签为 labels loss criterion(logits, labels) # 手动实现 L1 正则化 l1_lambda 0.01 l1_penalty sum(p.abs().sum() for p in model.parameters()) total_loss_l1 loss l1_lambda * l1_penalty # 手动实现 L2 正则化相当于 weight_decay l2_lambda 0.001 l2_penalty sum((p ** 2).sum() for p in model.parameters()) total_loss_l2 loss l2_lambda * l2_penalty实际训练时很多框架直接支持在优化器里配 weight decay例如设置学习算法优化器参数 weight_decay0.0001就等于给每个参数做了L2衰减。实践中L2用得更广因为它不需要考虑稀疏性调参也稳定。如果你不确定项目该用哪个优先从L2开始试。3.2 结构层面的正则化早停与Dropout除了在损失函数上做文章还可以从网络结构和训练流程下手。早停是最简单有效的正则化手段训练过程中监控验证集指标一旦连续若干轮验证集损失不再下降就停止训练并且保留验证集最好那次的模型参数。为什么要这样做因为过拟合的发生随时间逐步加重在验证集损失刚反弹的位置提前停下等于掐断过拟合的尾部。现实中“训练到最后一轮”通常不是最优解真正的最优点是验证集曲线的最低点。Dropout则是从结构上破坏神经网络的“过度默契”。训练时每个批次随机让一部分神经元失活等于强制网络不能只依赖某几个节点干活。就好比一个团队里轮流有人请假逼着每个人都必须能独立顶起一部分工作。测试时不启用Dropout只保留全量网络输出。一般来说全连接层附近加Dropout比较常见概率从0.3到0.5之间试太低没效果太高会把网络直接降成低容量模型。3.3 数据层面的正则化增强与清洗很多人没意识到最被低估的正则化其实是数据处理。图像任务里数据增强几乎是标配——随机水平翻转、小幅旋转、随机裁剪、亮度对比度扰动。这些操作不改变语义标签却能让模型看到同一物体更多样貌相当于免费扩充训练集同时也降低了模型对特定位置、颜色、姿态的依赖。不过数据增强不是万能药需要看领域适配。自然图像里翻转通常不影响猫狗的类别判断但在某些细粒度识别或医学影像场景过度的几何变换可能破坏关键特征反而引入错误信息。我自己的经验是先做轻量增强观察验证集是否提升再决定是否加码。更基础的一项工作是数据清洗。如果训练集里存在大量标注错误模型会把错误标注也当作规律记忆这比加任何正则化都难纠正。动手训练之前花时间抽查一批样本的标注质量往往比反复调正则化参数收益更大。有段时间我在某个图像分类项目中只清理了约2%的错误标注验证准确率就上涨了3个百分点比调一周参数都值。4. 数据划分与交叉验证验证集为什么不能省正则化是对抗过拟合的手段而判断你需不需要对抗过拟合的前提是有一套靠谱的评估机制。这里绕不开三个数据集名词训练集、验证集、测试集。很多人用错它们导致模型评估“虚高”。4.1 三类数据集的职责划分训练集用来更新模型参数这是模型学习的唯一素材来源。验证集用来评估模型在训练过程中的表现开发者会根据验证集结果调整超参数、决定早停时机、在多个候选模型里选优。测试集是最后一道门只在全部开发完成后运行一次用来模拟真实场景下的表现。一句话概括训练集是课本验证集是模拟考测试集是最终考试。模拟考可以用来调整学习策略但最终高考成绩只取决于真正的高考卷绝不能把高考真题拿来做模拟。很多人犯的最严重的错误就是反复用测试集看效果好一点就调一下再测试再调。这样测试集的信息已经悄悄泄漏到模型选择过程中最终评估结果会严重高估模型在新数据上的表现。数据划分比例没有铁律常见的是训练集、验证集、测试集按8比1比1或者7比1.5比1.5来分。分类任务最好做分层采样也就是按原始类别比例抽取各集合避免某一类在验证集里没有样本。如果数据总量很少强行分三份会让验证集统计噪声变大这时候就该用到交叉验证。4.2 K折交叉验证为什么更稳妥交叉验证的思路是把数据切分成K份每次用其中K减1份训练、剩下1份验证轮流做K次最后把K次结果平均。这样每一份数据都做过一次验证集评估结果对不同划分方式更稳定也不会因为某一次“运气不好”把数据恰好分开而误判模型。实际使用中样本量在万级以下、训练一次成本不太高的时候我用5折或10折交叉验证样本量到百万级、单次训练就要几小时甚至几天时老老实实留出一个验证集就够了因为一次训练已经足够贵交叉验证的K倍开销可能无法接受。另一个小技巧无论用哪种方式验证集和测试集的分布要尽量接近真实业务场景。如果你的线上数据是手机拍摄的实景图而验证集全是网站下载的干净图那无论验证集得分多高线上效果都会打折扣这不是模型的问题是评估体系的问题。5. 实操复盘某二分类图像项目从过拟合到稳住的全过程理论说太多容易虚我放一段最近在某个二分类图像Demo上的完整调参过程。项目背景很常规大约1.2万张图片正负样本各半需要判断某类缺陷是否存在。网络骨架是常见的卷积结构数据增强、正则化手段逐步叠加整个过程非常有代表性。5.1 从欠拟合起步小网络到底能不能学第一版模型结构很轻只有两层卷积加一层全连接参数量约40万。训练10轮后训练集准确率约为63%验证集准确率大约61%。两条曲线挨得很近但都偏低。这个信号说明模型根本还没学会——这是明显的欠拟合而不是过拟合。此时加正则化、加Dropout只会让问题更糟正确的方向是增大模型容量。于是我把结构扩到四层卷积、两层全连接参数量涨到380万。同样的训练配置训练集准确率在20轮内冲到95%验证集却只到了78%。这时两条曲线开始明显分叉训练损失一路下降到0.12附近验证损失却从最低点反弹到0.68左右。这是过拟合的经典信号模型容量够了拟合能力上来了但也开始背训练集了。5.2 遇到瓶颈过拟合的典型信号和应对顺序面对过拟合我按固定顺序操作不一次性同时加所有正则化。第一步先做数据增强随机水平翻转、随机旋转10度、随机裁剪后并放缩回原尺寸。结果是验证集准确率从78%涨到82%。效果为什么这么直接图像数据在增强前相当于“同一条茄子拍了一万张角度几乎相同的照片”模型当然容易背下来。第二步给优化器加L2权重衰减weight_decay从0开始调到0.0001。验证集涨到84%。第三步在全连接层之前加Dropout概率0.5验证集涨到86%。这时训练集和验证集的差距从17个百分点缩小到6个百分点左右过拟合已经被压到了一个可以接受的范围。最后我把初始学习率从0.01降到0.005批次大小从128调成64训练过程更稳定验证集定格在约87%。5.3 各阶段效果对比下面把整个过程的要点列成表格方便对照看趋势。阶段关键改动训练集准确率验证集准确率备注基线两层卷积小网络63%61%欠拟合容量不足加深网络四层卷积约380万参数95%78%过拟合验证集反弹数据增强翻转、旋转、随机裁剪93%82%差距开始缩小L2权重衰减weight_decay0.000190%84%参数更平滑Dropout全连接前加概率0.589%86%过拟合进一步缓解微调学习率与批次lr0.005batch6488%87%接近均衡有一个细节值得单独提每次调整我只动一个变量做完一轮再用验证集判断是否有效。这样我知道每个策略的边际收益而不是把多个改动打包后猜不出来谁起了作用。6. 实践中的常见误区与排查思路这一节整理一下实操中最常见的困惑。很多人跑着跑着卡住不是模型不够先进而是对现象和原因的对应关系不够熟练。6.1 问题与排查速查表症状可能原因优先排查方向训练集高、验证集低过拟合先加数据增强再考虑Dropout和L2正则化训练集和验证集都低欠拟合增大模型容量减少正则化强度训练更久训练loss不下降训练卡住了检查特征归一化、学习率是否过小或过大loss曲线反复震荡学习率偏大或批次偏小调小学习率增大批次大小加了正则化反而变差正则化强度过大或本来就欠拟合调低惩罚系数先解决欠拟合验证集先降后升训练太久了用早停保留验证集最佳模型6.2 三个容易搞错的细节第一个误区是拿着测试集反复调参。这个问题我之前也犯过为了在汇报里拿个好看的数字每次调整完都看一眼测试集测完再微调。最后测试集分数确实很高模型一上线就“现原形”。真实业务里线上数据千变万化测试集只是代理指标反复碰它等于给自己制造错觉。第二个误区是只看训练集损失。训练集上损失为0只说明模型有足够大的容量去硬背样本不代表任何可用性。判断模型好坏的底线是验证集测试集则是底线之外的底线。如果验证集还没看就别急着宣布模型完成了。第三个误区是早停的时机没搞清。早停并不是“训练到loss不再下降就停”而是验证集指标连续若干轮不再改善才停。训练集的loss会一直单调下降但验证集早就在某个点开始反弹了。正确做法是每轮记录验证集指标连续N轮不再刷新最小值时就触发停止并回滚到验证集最好的参数状态。我在前面那个图像Demo里patience设为5整个流程缩短了大约三成训练时间。最后分享一点个人体会真正让模型变得可以上线的往往不是某个神奇的技巧而是先看清当前状态属于欠拟合还是过拟合然后单点调整、记录对比、再做下一步。数据和验证集的设计才是整个实验的底层地基。希望这一讲的概念能帮你少走一些弯路。