跑完一个回归模型model.fit()那一行往往是最轻松的真正让人抓头的是后面那一行print(mse)——屏幕上跳出个 0.87然后呢这算好还是不好如果目标变量的量纲是元0.87 元简直是神仙模型如果量纲是万元那这个模型基本等于没训。更麻烦的是同一份模型你换一组数据再跑MSE 变成 1.24你根本不知道是模型变差了还是这组数据的天然波动就大。这就是机器学习的评价指标存在的意义。MSE、RMSE、MAE、R2 这四个指标几乎出现在每一份回归任务的报告里但很多人对它们的理解停留在背公式写代码时直接sklearn.metrics一把梭选哪个全凭手感。真到了要跟业务方解释、要做模型选型、要写技术方案的时候就会发现坑一个接一个为什么交叉验证出来 MSE 是负的为什么 R2 会变成负数为什么 RMSE 明明是 MSE 开根号两个指标给出的模型排序却不一定一致这篇笔记把我在实际项目里对这四个指标的用法完整捋一遍。适合刚入门机器学习的同学建立直觉也适合已经能跑模型但说不清指标含义的同学补课。所有公式我都会拆开讲它在惩罚什么所有结论都会配手算或代码验证最后会给出一个可以直接抄进项目的评估函数。看完之后希望你面对任何一个回归任务都能在两分钟内说出这次我用哪个指标、为什么、阈值定多少。1. 四个指标背后其实是同一个问题的四种回答1.1 先分清残差、损失函数、评价指标这三层关系很多人把这三个概念混着用结果是调参时对着指标改代码改了半天不知道自己在优化什么。我把它们拆成三层来看会清晰很多。第一层是残差就是y_true - y_pred。它是最原始的误差信息一组样本就有一组残差是个向量而不是一个数字。所有指标本质上都是把残差向量压缩成一个标量的不同压缩方式——有的取平方后平均有的取绝对值后平均有的拿去和均值预测比一比。第二层是损失函数它是给优化器看的。模型训练时梯度往哪走完全由损失函数决定。这里有个非常关键的认知损失函数决定模型长什么样评价指标只决定你怎么说它好不好。你可以用 MSE 训练一个模型然后用 MAE 去评价它完全合法而且很多时候这正是你想要的做法。第三层才是评价指标。它的读者是人不是优化器所以它必须可解释、可比、有业务含义。MSE 之所以在评价场景里经常被嫌弃正是因为它的量纲是目标变量的平方跟业务语言对不上但它在训练场景里依然是绝大多数回归任务的首选因为光滑、处处可导、有闭式解。顺带说一句梯度上的差别这个差别决定了两者的性格。MSE 对单个样本的梯度是2(y_pred - y_true)/n跟残差大小成正比所以模型会优先去修那些错得离谱的样本梯度大、收敛快MAE 的梯度是sign(y_pred - y_true)/n无论误差多大梯度都是常数好处是不被离群点牵着走坏处是接近最优解时步子不够小、收敛慢而且在残差为 0 处不可导。工业界常见的折中是 Huber 损失或者 Smooth L1小误差区间用平方、大误差区间用绝对值两头的好处都占。1.2 一张表看清四个指标的分工与边界指标量纲对离群点跨数据集可比性典型场景主要缺点MSE目标值的平方极敏感差训练损失、模型内部比较量纲无业务意义数值被大误差主导RMSE与目标值一致敏感一般对外汇报、同任务模型对比同样被离群点放大MAE与目标值一致稳健一般有离群点、要求稳健性的场景不可导梯度信息弱R2无量纲敏感差依赖于方差快速判断比均值强多少负值含义反直觉受数据方差影响大这张表里最值得多看一眼的是跨数据集可比性这一列。很多人默认 MAE 是 0.5 就一定比另一次实验的 MAE 0.6 好其实不一定——如果两次实验的目标变量分布不同比如一次预测的是门店日销几千元波动一次预测的是某种稀有耗材几十元波动那 0.5 和 0.6 根本不在同一个坐标系里。真正跨数据集可比的只有相对量比如 R2或者你自己定义的MAE / y_mean这类归一化误差。还有一个常被忽略的事实RMSE 永远大于等于 MAE。这不是巧合是数学性质由柯西不等式推出。所以如果有一天你算出 RMSE 小于 MAE别怀疑业务先怀疑代码。反过来说两者的比值本身就是一个免费的信息量RMSE / MAE接近 1 到 1.2说明所有样本的误差大小比较均匀没有特别离谱的点如果这个比值到了 2 以上说明存在少数误差极大的样本在主导 MSE这时候你就得回去看残差分布了。这个经验判断我用了好几年比直接画残差直方图还快。2. 公式逐项拆开别背公式理解它在惩罚什么2.1 MSE平方带来的两个直接后果公式写出来很简单MSE (1/n) * Σ(y_i - y_pred_i)^2它的核心动作是把每个残差平方再取平均。平方这个操作带来两个后果理解了这两个后果MSE 的所有脾气就都懂了。第一个后果是大误差被不成比例地放大。误差 2 变成 4误差 10 变成 100差距从 5 倍变成 25 倍。这意味着只要有一个样本错得特别离谱MSE 就会被它单独拉高。在金融风控、设备故障预警这类极端情况代价极高的场景里这个特性其实是优点——你确实希望模型害怕犯大错。但在噪声天生很大、存在大量异常样本的场景里它就成了缺点模型会为了迁就几个脏样本而牺牲整体表现。第二个后果是量纲变成了目标变量的平方。预测房价万元MSE 的单位是万元的平方这个东西没法跟任何人解释。所以我个人几乎从不在汇报里单独放 MSE它更多是作为训练损失和中间计算量存在。那为什么 MSE 仍然是训练损失的第一选择因为它对应着一个很干净的概率假设如果残差服从均值为 0 的高斯分布那么最小化 MSE 等价于极大似然估计。再加上它处处可导、Hessian 是常数最小二乘有闭式解工程上友好得不像话。这不是它最好而是它在好优化和合理之间取得了最省事的平衡。2.2 RMSE把量纲还回来但没有还回解释RMSE sqrt(MSE)一行公式作用就是开个根号把量纲拉回和目标变量一致。预测房价时RMSE 8.3 可以直接说成平均偏离 8.3 万元业务方能听懂。但这里有个非常容易踩的坑RMSE 不能解释成平均偏离。它的完整含义是误差平方的平均值再开根号数学上叫均方根跟平均绝对偏离不是一回事。当误差大小比较均匀时两者数值很接近你随口说成平均偏离问题不大但当存在离群点时RMSE 会明显大于 MAE这时候再跟业务方说平均偏差 8.3 万元就属于误导了实际上大部分样本可能只偏 3 万元。我在一次设备剩余寿命预测的汇报里就吃过这个亏业务方按 RMSE 去备货结果被几个退化异常的样本把平均值拉高了。RMSE 的另一个实用价值是它和 MSE 对模型的排序永远一致。因为开根号是单调变换A 的 MSE B 的 MSE必然推出A 的 RMSE B 的 RMSE。所以在模型选型阶段用哪个都行但对外汇报统一用 RMSE你自己算的时候用 MSE 省一次开方。2.3 MAE站在中位数视角的稳健选手MAE (1/n) * Σ|y_i - y_pred_i|MAE 直接取绝对值再平均每个样本不管错多少权重都是 1。这个线性惩罚让它成为最直观的指标——它就是字面意义上的平均绝对偏离。从统计角度看MAE 对应的是拉普拉斯噪声假设下的极大似然估计而它的最优解是条件中位数MSE 的最优解是条件均值。这句话值得反复咀嚼你用 MSE 训出来的模型在拟合均值用 MAE 训出来的模型在拟合中位数。如果你的目标变量分布是右偏的比如用户消费金额、停留时长、故障间隔均值会被长尾拖高中位数更贴近典型用户这时候 MAE 可能更符合业务直觉。MAE 的具体优势在离群点场景下体现得淋漓尽致。我在一个门店销量预测项目里对比过某个门店因为一次团购活动单日销量是平时的 30 倍这个点没被清理掉。用 MSE 训练时模型为了压这个点把整个片区的预测值都往上抬其他门店全偏高换成 MAE 之后模型基本无视了这个点其余门店的误差立刻回到正常水平。这不是 MAE 更先进而是它的惩罚机制决定了它不会被单个样本绑架。代价也要说清楚MAE 在 0 点不可导用梯度下降优化时需要 subgradient实际收敛会比 MSE 慢一些另外它不区分小错很多和大错很少这两种情况 MAE 可能相同但业务影响可能天差地别。2.4 R2一个相对指标别把它当准确率R2 1 - SS_res / SS_tot其中SS_res Σ(y_i - y_pred_i)^2是残差平方和SS_tot Σ(y_i - y_mean)^2是总平方和。注意 SS_res 在数值上等于n * MSE这一点很有用手算时可以直接复用。R2 的含义是你的模型比无脑预测所有样本的均值这个基准好多少。R2 0.9 意味着模型解释了 90% 的方差剩余的 10% 是残差R2 0 意味着你的模型和直接用均值预测一样好R2 0 意味着你的模型比直接用均值预测还烂。R2 为负是最容易被误读的情况。很多人的第一反应是是不是我算错了其实不是。我在做一条冷启动产线的产量预测时就遇到过 R2 -0.8 的情况原因是产线刚投产、数据量少模型在小样本上学到了一个完全不适用的斜率在验证集上表现还不如常数。所以 R2 为负是一个非常有价值的警报它在告诉你别用模型了先用均值兜底。R2 有几个必须知道的边界否则很容易得出错误结论。第一个边界是数据方差的影响。R2 的分母是 SS_tot如果你的数据本身方差就极小比如某条稳定工艺线的温度几乎不变SS_tot 会很小这时即使绝对误差微不足道R2 也可能很低甚至为负。这是个不公平的地方均值越稳的目标变量R2 越难做好看。所以不要拿两个方差差异巨大的任务去比 R2。第二个边界是训练集上 R2 不降。只要你往线性模型里加特征训练集的 R2 只会持平或上升永远不会下降这和特征有没有用无关。所以拿训练集 R2 来评判特征价值毫无意义得用调整后的 R2Adjusted R2 1 - (1 - R2) * (n - 1) / (n - p - 1)其中 n 是样本数p 是特征数。它给特征数量加了个惩罚项能粗略反映多加的特征到底值不值。第三个边界是在线性回归且含截距、评估训练集时R2 恰好等于皮尔逊相关系数的平方。这个等价关系只在这组特定条件下成立换个模型或者换到测试集就不成立了所以别把它当通用结论用。2.5 手算一遍五个样本走完全流程光看公式容易飘我们拿sklearn文档里的经典例子手推一遍。真实值y [3, -0.5, 2, 7]预测值y_pred [2.5, 0.0, 2, 8]。第一步算残差0.5, -0.5, 0, -1。第二步算平方0.25, 0.25, 0, 1求和得1.5。所以MSE 1.5 / 4 0.375。第三步开根号RMSE sqrt(0.375) ≈ 0.6124。第四步算绝对值和0.5 0.5 0 1 2所以MAE 2 / 4 0.5。第五步算均值(3 - 0.5 2 7) / 4 11.5 / 4 2.875。第六步算 SS_tot(3-2.875)² (-0.5-2.875)² (2-2.875)² (7-2.875)² 0.015625 11.390625 0.765625 17.015625 29.1875。第七步R2 1 - 1.5 / 29.1875 ≈ 0.9486。跟sklearn输出完全对得上。到这里都还顺利现在把最后一个预测值从 8 改成 20模拟一个离群点看看四个指标怎么反应。残差变成0.5, -0.5, 0, -13平方和变成0.25 0.25 0 169 169.5。MSE 169.5 / 4 42.375比之前的 0.375 涨了 113 倍。RMSE sqrt(42.375) ≈ 6.51涨了约 10.6 倍。MAE (0.5 0.5 0 13) / 4 3.5只涨了 7 倍。R2 1 - 169.5 / 29.1875 ≈ -4.807。一个样本的改动让 R2 从接近满分变成了 -4.8MSE 翻了一百多倍。注意 MAE 和 RMSE 的差距3.5 对 6.51接近两倍。这就是前面说的那个比值信号遇到这种情况我一定会回去看残差图确认是不是真的存在系统性异常点而不是模型本身的毛病。四个指标一起看比只看一个数字信息量大得多。3. 代码实操sklearn 里的正确姿势和三个坑3.1 最小可运行示例与残差分箱诊断先把上面手算的东西用代码验证一遍import numpy as np from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score y_true np.array([3, -0.5, 2, 7]) y_pred np.array([2.5, 0.0, 2, 8]) mse mean_squared_error(y_true, y_pred) rmse np.sqrt(mse) # 注意老版本没有 squared 参数 mae mean_absolute_error(y_true, y_pred) r2 r2_score(y_true, y_pred) print(fMSE{mse:.4f} RMSE{rmse:.4f} MAE{mae:.4f} R2{r2:.4f}) print(fRMSE/MAE {rmse / mae:.2f})输出是MSE0.3750 RMSE0.6124 MAE0.5000 R20.9486跟手算一致。注意sklearn1.4 之后mean_squared_error增加了squared参数可以直接得到 RMSE。但如果你的环境是 1.4 之前的版本这个参数不存在直接传会报TypeError。跨环境跑代码时老老实实np.sqrt(mse)最稳。这里补一个我在实践里形成习惯的动作永远不要只报一个整体指标一定要做残差分箱。做法是按预测值排序分箱看每一箱的 RMSE 和偏差预测均值减真实均值。import pandas as pd df pd.DataFrame({y_true: y_true, y_pred: y_pred}) df[residual] df[y_pred] - df[y_true] # 真实项目里样本量大按分位数切 10 箱更稳 df[bin] pd.qcut(df[y_pred], qmin(5, len(df)), duplicatesdrop) report df.groupby(bin, observedTrue).agg( n(y_true, size), rmse(residual, lambda s: np.sqrt((s ** 2).mean())), bias(residual, mean), ) print(report.round(3))整体 RMSE 是 0.6124看起来还行但分箱之后你可能发现小预测值区间全是负偏差、大预测值区间全是正偏差这就是典型的系统性偏差光看整体指标完全发现不了。这个动作花不了五分钟但能帮你定位到模型在哪一段失效远比反复调参高效。3.2 交叉验证里的 MSE 为什么是负数这是新手最容易困惑的一个点。执行这段代码from sklearn.linear_model import LinearRegression from sklearn.model_selection import cross_val_score X np.arange(20).reshape(-1, 1).astype(float) y 3 * X.ravel() np.random.RandomState(0).normal(0, 2, 20) scores cross_val_score(LinearRegression(), X, y, scoringneg_mean_squared_error, cv5) print(scores) # 全是负数 print(-scores.mean()) # 这才是我要的 MSE原因在于sklearn的评分器统一遵循分数越高越好的约定所以所有损失类指标在内部都被取了负号。neg_mean_squared_error返回的是-MSE你mean()之后再取负才是真正的 MSE。如果忘了取负会得到一堆奇怪的负数而且模型排序方向正好反了——这个错误我见过至少三次每次都有人花半天找原因。neg_root_mean_squared_error在新版本里也有但兼容性不如手动开根号。R2 本身越大越好所以是scoringr2不需要取负这一点别搞混。3.3 自定义指标、样本权重与多输出场景当业务方要的是平均绝对百分比误差或者加权误差时就得自己包一个评分器from sklearn.metrics import make_scorer, mean_absolute_error # greater_is_betterFalse 会自动帮你取负省心 mae_scorer make_scorer(mean_absolute_error, greater_is_betterFalse) scores cross_val_score(LinearRegression(), X, y, scoringmae_scorer, cv5) print(-scores.mean())给make_scorer传greater_is_betterFalse之后sklearn内部会替你处理符号问题这是比手写一堆neg_字符串更可靠的做法。同时它支持传**kwargs比如make_scorer(mean_absolute_error, greater_is_betterFalse, sample_weightw)就能把样本权重带进去——做时间衰减加权的销量预测时非常实用。多输出回归一次预测多个目标时mean_squared_error和r2_score都有multioutput参数。默认uniform_average是各输出维度等权平均raw_values返回每一维单独的分数。我在做多工序质量预测时会用raw_values因为不同工序的容忍度完全不同平均之后信息全丢了。y_true_m np.array([[1, 2], [2, 3], [3, 4]]) y_pred_m np.array([[1.1, 1.9], [2.2, 2.8], [2.9, 4.2]]) print(r2_score(y_true_m, y_pred_m, multioutputraw_values)) print(r2_score(y_true_m, y_pred_m, multioutputuniform_average))提醒三个样本算 R2 几乎没有统计意义这里只是为了演示参数用法。真实评估至少保证验证集有几百个样本R2 才稳定。3.4 对数变换之后指标回不到原尺度这是我在需求量预测项目里踩得最狠的一个坑。目标变量是右偏的销量建模前做了log1p变换训练完直接expm1还原回原始尺度然后算 RMSE——看起来没问题问题在于对数空间的误差最优不等于原始空间的误差最优。对数变换会把大值压缩、小值拉大模型在 log 空间里对从 10 预测到 20和从 1000 预测到 2000给出的惩罚是接近的但还原到原空间后者是 1000 的绝对误差前者只有 10。所以你会看到一个很怪的现象log 空间的 RMSE 很小但原空间的 MAE 反而比不取对数时更高。正确做法是在原空间评估。训练可以在 log 空间但所有指标一律先expm1还原再算。如果业务上确实更关心百分比误差那就直接上 MAPE 或 SMAPE别用 log 空间指标去充当相对误差的替代品——它们不等价。4. 选指标的决策逻辑业务场景决定一切4.1 先问一句大错和小错的价格一样吗选指标的第一个决策点永远是惩罚结构。我会直接问业务方一个问题预测偏 100 和偏 10造成的损失是 10 倍关系还是超过 10 倍如果是 10 倍关系也就是线性关系那就该用 MAE 或者以 MAE 为主的复合指标。库存备货、常规销量预测、客服工单量预测大多属于这一类多备一点少备一点成本大致线性。如果超过 10 倍甚至大错会导致事故、违约、设备损坏那就该用 MSE 或 RMSE 训练主动让模型害怕大错。设备剩余寿命预测、危化品运输时长预测、金融风险敞口预测都属于这一类。我在做设备维保排程时最终是用 RMSE 作为主指标因为一次漏检的代价是整条产线停机而多排一次保养只是浪费半天人力这两者完全不对称。4.2 量纲、可解释性与汇报口径第二个决策点是沟通成本。技术同学之间用 MSE 完全没问题它的数学性质最干净但一旦进入跨部门汇报MSE 基本可以直接删掉因为它没办法翻译成任何业务语言。我的汇报模板固定是三件套RMSE 说明平均误差规模MAE 说明典型误差规模R2 说明相对基准提升了多少。三个数字放在一起业务方能立刻建立直觉RMSE 和 MAE 的差距大不大、模型比直接拍均值强多少、误差规模在这个业务里能接受吗。举个具体的例子预测次日订单量模型输出 RMSE 12.4、MAE 9.1、R2 0.83。我会这样解释平均每个预测点偏 9 单左右典型情况偏差的波动比较大少数点位会偏到十几单RMSE 明显高于 MAE 说明这点整体解释了 83% 的波动比无脑用历史均值强不少。这段话业务方听得懂也能据此判断要不要上线。另外跨任务比较时记得做归一化。我会额外报一个MAE / y_true.mean()这个比例在 0.05 以内基本算很准0.05 到 0.15 属于可用超过 0.3 就要重新评估建模方案了。这些阈值不是金科玉律是从多个项目里攒出来的经验区间具体到你的业务必须结合容忍度重新定。4.3 R2 的三个使用边界R2 很好用但用错地方杀伤力也大。除了前面提到的方差影响、训练集不降、负值含义还有几个实操层面的边界要守住。不要在方差极小或分布突变的数据上比 R2。比如某条化工产线的温度控制目标几乎是常数SS_tot 小到可以忽略模型预测得很准但 R2 可能是负的。这种场景干脆放弃 R2直接用 MAE 加业务阈值判断。不要用 R2 做早期停止的依据除非数据量足够。小验证集上 R2 抖动非常剧烈我见过同一个模型换一个随机种子R2 在 0.3 到 0.7 之间跳。这时候用 RMSE 做早停会平稳得多因为它是绝对量不像 R2 那样被分母放大。不要把 R2 当成准确率来设阈值。时间序列预测里 R2 0.6 可能就是很好的结果了而在一些平稳的工业过程数据里 R2 0.98 才是及格线。这两个数字没有可比性阈值必须按任务定。4.4 一份可以直接抄的指标选择清单我把上面的判断整理成一个可执行的顺序遇到新任务按这个流程走一遍就行。第一步看目标变量有没有极端值。做个箱线图或者分位数统计如果 99 分位和 1 分位的比值超过 10先考虑 MAE 或者对目标做变换。第二步问清楚错误代价是否对称。不对称就用 MSE 训练、用 RMSE 汇报对称就 MAE 训练、MAE 汇报省事。第三步看目标变量方差是否稳定。如果某个子群体的方差明显不同比如不同门店的销量波动差异巨大就分群体评估别用全局指标掩盖问题。第四步确定基线。任何一次评估都必须有基线最简单的基线是全预测训练集均值稍好一点的是全预测上一个时间点的值对时序任务。没有基线的 R2 和 RMSE 都只是孤零零的数字说明不了任何问题。第五步把所有指标写进统一的评估函数每次实验自动打印避免人工漏算造成误判。5. 常见问题与排查技巧实录5.1 指标异常速查表现象最可能的原因优先排查动作R2 为负模型不如均值预测或验证集分布与训练集不一致先算均值基线对比确认再查数据切分是否随时间/群体泄漏RMSE 远大于 MAE存在少数大误差样本打印残差绝对值最大的 20 个样本逐个看特征是否异常RMSE 小于 MAE几乎不可能一定是代码错检查是不是把 MSE 当 RMSE 用了或者循环里变量覆盖了训练集 R2 0.99验证集 R2 0.2过拟合或数据泄漏检查特征里有没有混入目标衍生变量、时间穿越特征加了新特征验证集 RMSE 变差但训练集变好典型过拟合信号用交叉验证重测考虑正则化或删特征交叉验证输出全是负数用了neg_前缀的评分器取负还原或改用make_scorer(..., greater_is_betterFalse)MAE 很低但业务方说预测没用误差集中在关键样本上按业务维度分组算 MAE找关键群体的误差指标随数据量增加持续变差数据分布漂移加时间维度画指标趋势图确认是否存在概念漂移这张表里最值得展开的是最后两行。整体 MAE 很低但业务不满意是极常见的情况原因是关键样本的权重在整体平均里被稀释了。解决办法是按业务维度分组评估比如按客户等级、按商品品类、按地区分别算 MAE把关键群体的指标单独拎出来。我做过的一个补货预测项目整体 MAE 只有 2.1但按品类拆开看生鲜类 MAE 高达 8.7而恰恰生鲜是最需要准的品类。整体指标把一个致命问题藏得严严实实。5.2 训练集指标好、验证集崩了按什么顺序排查这个问题几乎每个项目都会遇到我形成了一套固定的排查顺序效率比漫无目的地试高得多。先看数据切分。时序任务千万不能用随机train_test_split未来信息泄漏到训练集是最常见的原因。改成按时间切分训练集全部早于验证集指标大概率会掉一截但真实。再看特征时间戳。检查每一个特征的计算时点是不是都在预测时点之前。我踩过一次非常典型的坑特征表里有个近 30 天平均退款率这个字段是在数据仓库的 T1 全量快照里取的包含了预测时点之后的信息导致线下 R2 高得离谱上线后完全失效。这类问题的排查方法是给每个特征标注可用时间然后在特征生成阶段做一次断言校验。再看目标变量的极值。如果训练集里有几个极端值而验证集没有模型学到的斜率会被带偏。做法是对比训练集和验证集目标变量的分位数分布差异大的话考虑分箱采样或者做稳健变换。最后才是模型本身。前面三步排完还没解决再考虑降低复杂度、加正则化、减少特征数量。顺序反了的话你会花大量时间调参结果问题根本不在模型上。5.3 几条踩过坑才知道的经验标签缺失的样本不要当 0 处理。有些数据集的缺失标签会被填成 0这会直接污染 MSE。因为 0 可能是个远离正常值域的极端点平方之后影响巨大。遇到这种情况先统计标签为 0 的比例如果和业务常识对不上一律当缺失剔除。异常值处理要和指标选择配套。如果你决定保留异常值就用 MAE 或者 Huber如果决定清理异常值清理完之后再用 MSE 会非常舒服。最怕的是保留了异常值还硬用 MSE然后反复怀疑模型有问题。评估集要固定下来最好存成文件。我见过因为每次实验重新随机切分导致指标不可比的案例一群人对着不同的验证集争论谁的模型好。把划分好的评估集序列化保存所有实验共用这是最基本也最容易被忽略的纪律。别用测试集选指标。选 MSE 还是 MAE、用什么阈值、早停在哪一轮全部在验证集上做测试集只用一次。这条是原则问题违反了后面所有的指标都没意义。记录每一次实验的完整指标。我会把 MSE、RMSE、MAE、R2 四个值全部存到一张表里附上实验编号和配置。原因很简单不同指标经常给出不同的模型排序事后回溯时如果只存了一个指标你根本没法重新判断当时的决策是否合理。6. 把指标接进日常流程的几个小习惯6.1 写一个统一的评估函数别再手搓我把这套东西固化成了一个函数每次实验直接调用避免漏算和口径不一致import numpy as np from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score def regression_report(y_true, y_pred, name): y_true np.asarray(y_true, dtypefloat).ravel() y_pred np.asarray(y_pred, dtypefloat).ravel() mse mean_squared_error(y_true, y_pred) rmse np.sqrt(mse) mae mean_absolute_error(y_true, y_pred) r2 r2_score(y_true, y_pred) # 基线全预测训练均值 baseline np.full_like(y_true, y_true.mean()) mse_base mean_squared_error(y_true, baseline) rmse_base np.sqrt(mse_base) print(f {name} ) print(f样本数 : {len(y_true)}) print(fMSE : {mse:.4f}) print(fRMSE : {rmse:.4f}) print(fMAE : {mae:.4f}) print(fR2 : {r2:.4f}) print(fRMSE/MAE : {rmse / mae:.3f}) print(fMAE/目标均值 : {mae / abs(y_true.mean()):.4f}) print(f均值基线 RMSE : {rmse_base:.4f}) print(f相对基线提升 : {(rmse_base - rmse) / rmse_base * 100:.2f}%) return {mse: mse, rmse: rmse, mae: mae, r2: r2} regression_report(y_true, y_pred, namedemo)这个函数的几个设计点都是有原因的。ravel()是为了防止输入是 (n,1) 的二维数组导致 R2 计算走多输出逻辑输出一堆看不懂的结果。加上均值基线是为了让 RMSE 有参照物——RMSE 15 本身没有意义但如果均值基线的 RMSE 是 40那模型提升了 62.5%这就是有价值的信息。RMSE/MAE比值是为了快速判断误差分布形态。最后返回字典是为了方便批量存进实验结果表。6.2 把指标趋势画出来比单点数字有用得多最后一个习惯是画趋势。单次实验的 RMSE 只是个点把不同时间窗口、不同数据量、不同版本的 RMSE 连成线才能看出模型是在变好还是悄悄劣化。我一般会画三条线训练集 RMSE、验证集 RMSE、均值基线 RMSE。三条线的关系能同时告诉你三件事——模型有没有过拟合训练和验证的间距、模型是否真的学到了东西验证和基线的间距、数据分布有没有漂移验证集 RMSE 是否在基线不动的情况下持续上升。如果验证集 RMSE 稳步下降但基线 RMSE 稳步上升说明这批数据的方差在变大模型确实在努力跟上变化这是好现象如果验证集 RMSE 上升而基线不动那基本就是模型退化了要回去查特征管道或者数据的采集口径有没有改动。这个判断我用了很多次比反复看单次指标有效得多。最后分享一个很实际的小技巧。当业务方追问这个模型到底能不能用的时候别急着解释 R2 是什么直接把验证集里误差最大的 20 个样本拉出来给他看让他判断这些错误能不能接受。如果他看完说这几个点本来就是特殊活动没关系那模型就能上如果他皱眉说这几个点恰恰是重点客户那回去接着优化指标本身不用再讨论。评估指标的价值就在于把模型好不好这个模糊的问题变成一个可以逐样本核对的具体问题。
