前阵子在一个模拟项目里队友 A 同学把一份带八个特征的二分类数据丢给我说想看看不用现成框架、纯手写梯度下降能不能跑出像样的结果。我当时第一反应是这活儿不难可真动手之后才发现多变量二分类里那些看起来不起眼的细节——特征尺度、学习率、阈值、数值稳定性——每一个都能让训练曲线变得很难看。这篇就把我从零实现一版梯度下降法多变量二分类器的过程摊开讲包括推导、代码、参数怎么定、坑怎么填。适合刚学完线性代数与微积分、想搞明白梯度下降到底在干什么的同学也适合已经会调库、但一直没弄清fit()背后发生了什么的开发者。读完之后你至少能做到三件事自己推导出多变量逻辑回归的梯度、手写一份不依赖框架的训练代码、在损失曲线不对劲时知道从哪几个方向去排查。1. 整体设计与思路拆解1.1 为什么多变量二分类值得从零手写一遍调包跑一个二分类三行代码就够了。但三行代码背后藏着一整套决策损失函数选哪个、正则化加不加、特征要不要缩放、优化器用哪个、阈值定在哪里。这些东西平时被封装得很好好到你根本不会去想它们。一旦数据换了、分布变了模型效果掉下来你连从哪儿下手都不知道。我坚持手写一遍的理由很实际梯度下降的每一个环节都是可观测的。你能看到第 1 轮损失是多少、第 100 轮梯度范数有多大、参数是不是在某个方向上疯长。这种“看得见”的感觉是调包永远给不了的。多变量场景比单变量更能暴露问题因为特征之间会互相干扰——一个量纲是千级的特征和一个量纲是零点几的特征放在一起梯度方向会被前者完全带偏损失曲线呈现出典型的锯齿震荡。这个问题在手写版本里一眼就能看出来在封装版本里你只会觉得“模型效果一般”。还有一点多变量二分类是理解更复杂模型的跳板。神经网络最后一层做二分类本质就是这一套东西加上几层非线性变换。你把这里的链式法则推明白了反向传播也就通了。所以这篇不追求工程上的极致性能追求的是把中间过程完整暴露出来让每一步都能对应到一条数学式子。1.2 模型形态选型线性打分加概率映射多变量二分类最常见的形态是逻辑回归先用一组权重对特征做线性组合得到一个实数打分再用一个单调函数把它压到 0 到 1 之间当作概率。这个“压”的动作选的是 sigmoid 函数形式是 1/(1e 的负 z 次方)其中 z 是线性打分。选它的原因很朴素输出范围刚好是概率区间而且导数形式极其干净求导之后是 σ(z) 乘以 (1 减 σ(z))这个性质让后面的梯度推导省了大力气。有人会问为什么不用线性回归直接拟合 0/1 标签然后拿输出当概率我试过效果很糟糕。原因在于平方损失配合 sigmoid 会产生一个非凸的优化面梯度下降很容易陷在平台区损失降着降着就不动了。更要命的是平方损失对大误差的惩罚方式和分类任务的目标不一致一个标签为 1 的样本模型预测 0.9 和预测 0.1平方损失给出的梯度信号远不如交叉熵强烈。分类任务关心的是“判对的置信度”交叉熵恰好直接优化这个东西。所以这套方案的骨架是固定的线性打分负责表达特征组合sigmoid 负责把打分翻译成概率交叉熵负责衡量预测分布和真实标签之间的差距。三层各司其职改动其中任何一层都要重新考虑另外两层还合不合适。1.3 损失函数与优化目标的对应关系交叉熵的形式是负的 [y 乘 log(p) 加上 (1-y) 乘 log(1-p)]对样本取平均。这个式子从最大似然的角度推出来特别自然把每个样本的标签看作一次伯努利试验模型给出的 p 就是这次试验成功的概率所有样本联合出现的似然就是各自概率的乘积取对数再加负号就得到了交叉熵。也就是说最小化交叉熵等价于最大化训练数据的似然。这个等价关系不是巧合它解释了为什么交叉熵在分类任务上表现稳定。真正让梯度下降好用的是求导之后的形态。设 z 是线性打分p 是 sigmoid(z)y 是真实标签那么损失对 z 的导数恰好是 p 减 y。这个结果干净到有点不真实但它确实成立推导过程只用了 sigmoid 的导数性质和 log 的导数性质。有了这一层损失对权重 w 的导数就是 (p 减 y) 乘以对应的特征 x对偏置 b 的导数就是 (p 减 y) 本身。整个梯度计算变成了一次矩阵乘法没有任何超越函数残留。我特别想强调这个“干净”的价值。如果损失函数选得不好梯度里会残留一堆 sigmoid 项数值上容易饱和实现上也容易写错。交叉熵配合 sigmoid 的组合把这些问题一次性消掉了这也是它成为二分类默认答案的根本原因不只是习惯问题。1.4 整体数据流与模块划分从工程实现角度我把整个流程切成四块数据处理、模型计算、训练循环、评估与阈值选择。数据处理负责读入特征矩阵、做标准化、划分训练测试集模型计算负责前向传播算打分和概率、算损失、算梯度训练循环负责按轮次更新参数并记录损失历史评估负责在测试集上算准确率、精确率、召回率和 F1并搜索一个合适的判定阈值。这个划分方式的好处是每一块都能单独测试。比如我怀疑标准化写错了就单独拿一组已知均值方差的数据跑一下 transform看输出对不对怀疑梯度推错了就用数值梯度做一次校验把解析梯度和差分近似梯度对比误差在 1e-6 量级以内就说明推导没问题。这种“分块验证”的习惯在我踩过几次坑之后变得非常牢固——一锅粥式的代码出了问题只能靠猜。还有一个设计上的取舍是否加正则化。多变量场景下特征多了共线性一出现权重就会被推得很大训练集损失降得很低但测试集崩掉。L2 正则化在梯度上加一项 λ 乘 w实现成本极低收益却很明显。我默认会带上λ 从 1e-3 起试数据量小的时候适当加大数据量大的时候可以调到 1e-4 甚至更小。2. 核心细节解析与实操要点2.1 特征标准化梯度下降真正的地基我见过太多人卡在“损失不下降”上最后一查是特征没做缩放。多变量场景里这个问题被放大得特别明显假设第一个特征的取值范围是几百到几千第二个特征在 0 到 1 之间那么损失曲面的等高线会变成一个极度狭长的椭圆。梯度下降在这种曲面上会沿着短轴方向来回震荡沿长轴方向前进极慢表现就是损失曲线先快速下降一小段然后开始上下抖动几百轮过去几乎没进展。标准化的做法是 z-score每个特征减去该特征的均值再除以标准差。做完之后所有特征的量级都在 1 附近损失曲面的等高线接近圆形梯度方向基本指向最优点收敛速度能有数量级的提升。这里有个容易写错的地方均值和标准差必须只用训练集算然后用训练集算出来的这组统计量去变换测试集。如果拿全量数据算统计量测试集的信息就泄露进了训练过程评估结果会虚高这个错误在交叉验证里尤其隐蔽。还有一个边界情况某个特征在训练集里是常数标准差为 0除下去会得到无穷大。我的处理方式是在 fit 的时候把标准差为 0 的位置替换成 1相当于这个特征减去均值之后变成全零不参与后续计算。这个处理看起来粗糙但比直接崩溃要好而且常数特征本来就没有信息量。注意标准化之后不要忘了偏置项 b。b 不参与标准化它承担的是“平移”的角色标准化已经把所有特征中心化到 0 附近b 的初始值设成 0 是合理的。2.2 参数初始化与偏置项的处理逻辑回归的损失函数是凸的所以理论上权重初始化成什么值都不影响最终能不能收敛到全局最优只影响收敛速度。实践中我全部初始化为 0简单、可复现、没有意外。有人喜欢用小的随机数初始化在做神经网络时这是必须的为了打破对称性但在单层逻辑回归里完全没必要反而引入了一个随机种子依赖。偏置项的初始值有个小技巧如果训练集正负样本极不均衡比如正样本只占 5%那把 b 初始化成 log(0.05/0.95) 约等于负 2.94能让模型从一个合理的基线开始省掉前几十轮纯调偏置的过程。我实测过在不均衡数据上这么初始化收敛轮数能减少三成左右。当然如果你后面会用类别权重或者重采样这个技巧的收益就没那么明显了。还有一个细节是权重的维度。多变量场景下特征矩阵的形状是样本数乘特征数权重向量长度等于特征数做矩阵乘法时是 X 乘 w 而不是 w 乘 X方向搞反了会直接报维度不匹配。我习惯在函数开头写一行断言把形状检查放在最前面比跑到一半才报错要省时间。2.3 学习率的量级判断与动态调整学习率是梯度下降里最需要手调的参数。太大损失会震荡甚至发散太小收敛慢到让人怀疑代码写错了。判断方法很直接把每轮的损失打出来如果损失先降后升、或者大起大落说明学习率偏大如果损失单调下降但降得极其缓慢几百轮之后还在高位说明学习率偏小。在多变量场景里学习率的合适量级和特征数量、标准化程度强相关。做完标准化之后我通常从 0.1 开始试这个值在中等规模数据上比较稳。如果损失在第 5 轮内就掉到 0.2 以下然后停滞可能是学习率偏大导致跳过了最优点可以往 0.01 降一档再试。如果 0.01 下损失下降平滑但慢就往 0.05 调。这个“先粗后细”的调法比盲目网格搜索高效得多。我还准备了一个动态调整的备用方案每轮记录损失如果连续若干轮损失上升就把学习率减半。这个策略在数据噪声大的时候很有用能避免训练后期在最优点附近反复横跳。实现上只需要维护一个“最佳损失”和“耐心计数”超过耐心阈值就衰减逻辑不超过十行代码。2.4 梯度推导从链式法则到手写公式推导过程我建议每个人都自己写一遍写在纸上。起点是单个样本的损失形式是负的 [y log p 加 (1-y) log(1-p)]其中 p 等于 sigmoid(z)z 等于 w 转置乘 x 加 b。第一步对 z 求导需要用到 sigmoid 的导数等于 σ(1-σ)。把 log p 对 z 求导得到 (1-p)把 log(1-p) 对 z 求导得到负 p。代入损失表达式整理结果就是 p 减 y。这一步是整个推导的核心推通了后面全是机械操作。第二步对 w 求导。z 对 w 的导数是 x所以损失对 w 的导数等于 (p-y) 乘 x。对 b 求导z 对 b 的导数是 1所以损失对 b 的导数就是 (p-y)。把所有样本的结果加起来取平均就得到了批量的梯度。写成矩阵形式是X 的转置乘以 (p 减 y) 向量再除以样本数。这个形式可以直接用一次矩阵乘法算完不需要循环效率差距在大数据量下非常明显。推导完之后我强烈建议做一次数值校验。方法是选一个参数点对每个维度分别加上和减去一个极小的 ε比如 1e-5用损失差除以 2ε 得到数值梯度再和解析梯度对比。如果相对误差在 1e-6 以内推导基本没错。这个校验我只在写新模型时做一次但它救过我两次——一次是忘了除以样本数一次是把 (1-y) 的符号写反了两次都是肉眼看不出来但校验立刻暴露的问题。2.5 数值稳定性溢出与 log 零sigmoid 在实现时有个经典陷阱当 z 是一个绝对值很大的负数时直接算 e 的负 z 次方会溢出成无穷大然后 1 除以无穷大得到 0虽然结果在数学上是对的但过程中会产生警告某些环境下还会变成 NaN。稳妥的写法是分段处理z 大于等于 0 时用标准形式z 小于 0 时用等价变形把指数项变成 e 的 z 次方这样指数永远是负的不会溢出。交叉熵也有类似问题。当预测概率 p 极其接近 0 或 1 时log(p) 会趋向负无穷一旦某个样本预测错了而且错得很离谱损失会瞬间变成无穷大梯度也跟着变成 NaN整个训练就废了。处理方法是在取 log 之前把 p 截断到 [1e-12, 1-1e-12] 区间内。这个截断在数学上改变了损失函数但改变的量级在 1e-12 以下对结果毫无影响却能把数值稳定性问题彻底按死。更讲究的做法是不算 p 再算 log p而是直接从 z 算 log(1e 的负 z 次方) 这类稳定形式避免中间结果溢出。不过对于手写练习来说截断方案足够用了代码可读性也更好。我在实际项目里两种都写过效果上没有可观测差异选择哪种主要看团队代码风格。3. 实操过程与核心环节实现3.1 数据准备与标准化封装为了把流程跑通我先构造一组带五个特征的数据其中三个有真实信号两个是纯噪声再在打分上加一点高斯扰动模拟现实里的不可解释部分。这样构造的好处是我知道真实的权重长什么样训练完之后可以对比学到的权重是否接近真值这比只看准确率更能说明模型学到了东西。import numpy as np rng np.random.default_rng(42) n_samples 800 X_raw rng.normal(size(n_samples, 5)) true_w np.array([1.2, -0.8, 0.5, 0.0, 1.6]) true_b -0.3 z_true X_raw true_w true_b rng.normal(scale0.5, sizen_samples) y (z_true 0).astype(int) # 按 8:2 划分训练集与测试集 idx rng.permutation(n_samples) split int(n_samples * 0.8) train_idx, test_idx idx[:split], idx[split:] X_train, y_train X_raw[train_idx], y[train_idx] X_test, y_test X_raw[test_idx], y[test_idx]标准化我封装成一个极简的类把均值和标准差存在实例上transform 时复用。这样训练集和测试集走同一套变换逻辑不会出现两边用不同统计量的低级错误。class StandardScaler: def fit(self, X): self.mu X.mean(axis0) self.sigma X.std(axis0) self.sigma[self.sigma 0] 1.0 return self def transform(self, X): return (X - self.mu) / self.sigma def fit_transform(self, X): return self.fit(X).transform(X) scaler StandardScaler() X_train_s scaler.fit_transform(X_train) X_test_s scaler.transform(X_test)这一步做完之后可以顺手打印一下变换后训练集每列的均值和标准差正常情况下均值应该都在 1e-16 量级标准差应该都接近 1。这个检查我每次都会做花不了三秒钟但能挡住一类很隐蔽的 bug。3.2 前向传播与损失计算的稳定写法前向传播就两步算线性打分再过 sigmoid 得到概率。我把 sigmoid 写成支持数组输入的分段形式正负两部分分别处理避免指数溢出。损失函数里对概率做了截断防止 log 零。def sigmoid(z): out np.empty_like(z, dtypenp.float64) pos z 0 out[pos] 1.0 / (1.0 np.exp(-z[pos])) ez np.exp(z[~pos]) out[~pos] ez / (1.0 ez) return out def bce_loss(y, p): eps 1e-12 p np.clip(p, eps, 1.0 - eps) return -np.mean(y * np.log(p) (1.0 - y) * np.log(1.0 - p))有一件事值得单独说初始损失应该是多少。在标准化之后、权重全零的情况下所有样本的打分都是 0sigmoid 输出 0.5交叉熵算出来是 log 2 约等于 0.693。这是一个非常有用的基准值。如果训练开始后损失一直停在 0.693 附近不动说明梯度没有生效问题可能出在学习率太小、梯度算成了零、或者更新时忘了用减号。这个数字我把它当作“系统自检信号”来用看到它就条件反射地去找梯度的问题。3.3 反向传播与参数更新的一体化实现梯度计算和损失计算我放在同一个函数里返回因为两者共享前向计算的中间结果拆开反而要多算一遍。更新时用朴素的全批量梯度下降不做小批量数据量在万级以下时全批量更简单也更快。def compute_grad(X, y, w, b, l21e-3): m X.shape[0] z X w b p sigmoid(z) dz p - y dw X.T dz / m l2 * w db np.mean(dz) loss bce_loss(y, p) 0.5 * l2 * np.dot(w, w) return dw, db, loss这里我加了 L2 正则梯度里多一项 λ 乘 w损失里多一项二分之一的 λ 乘 w 的平方范数。注意正则项不应该加在偏置 b 上偏置的作用是调整整体的判定门槛对它做收缩会让模型在不均衡数据上失去校准能力。这个细节很多人会忽略因为大部分框架默认就是这么处理的自己写的时候容易顺手把 b 也加进去。向量化的矩阵乘法X.T dz是整个实现里性能最关键的一行。如果能把它写成循环代码更直白但速度会慢一到两个数量级。我建议先用循环写一版验证正确性再换成矩阵形式对比结果是否一致这个对照实验做过一次以后就不会写错了。3.4 训练循环与收敛监控训练循环里我做三件事算梯度、更新参数、记录损失。收敛判据用的是损失变化量连续两轮的损失差小于 1e-7 就提前停止。这个判据比固定轮数灵活也不会因为轮数设太少而欠拟合。def train(X, y, lr0.1, epochs3000, l21e-3, tol1e-7): n_features X.shape[1] w np.zeros(n_features) b 0.0 history [] for epoch in range(epochs): dw, db, loss compute_grad(X, y, w, b, l2) w - lr * dw b - lr * db history.append(loss) if epoch 20 and abs(history[-2] - history[-1]) tol: print(f第 {epoch} 轮触发收敛判据当前 loss{loss:.6f}) break return w, b, history监控方面我习惯每 100 轮打印一次损失和梯度的二范数。梯度范数是个很有信息量的指标训练初期它应该比较大随着接近最优点逐渐变小如果它一直不降说明模型没在有效学习如果它突然暴涨说明学习率过大或者数据里有异常值。这两个数字配合着看比只看损失更能定位问题。提示收敛判据里我用的是相邻两轮损失差不是相对差。当损失降到 1e-8 这种量级时绝对差判据会更早触发这在我们的场景里没问题。如果数据量特别大、损失本身就在很小的值附近波动可以换成相对差判据。3.5 评估、阈值选择与结果解读训练完之后评估不能只看准确率。二分类在不均衡数据上全判成多数类的准确率可能很高但模型毫无价值。我固定输出准确率、精确率、召回率和 F1 四个指标并且做一次阈值搜索。def evaluate(y_true, p, threshold0.5): y_pred (p threshold).astype(int) tp np.sum((y_pred 1) (y_true 1)) fp np.sum((y_pred 1) (y_true 0)) tn np.sum((y_pred 0) (y_true 0)) fn np.sum((y_pred 0) (y_true 1)) acc (tp tn) / len(y_true) precision tp / (tp fp) if (tp fp) else 0.0 recall tp / (tp fn) if (tp fn) else 0.0 f1 2 * precision * recall / (precision recall) if (precision recall) else 0.0 return {acc: acc, precision: precision, recall: recall, f1: f1} def best_threshold(y_true, p): best_t, best_f1 0.5, -1.0 for t in np.linspace(0.05, 0.95, 91): m evaluate(y_true, p, t) if m[f1] best_f1: best_t, best_f1 t, m[f1] return best_t, best_f1阈值搜索这一步在实际业务里价值极高。默认的 0.5 只在正负样本均衡、误判代价对称的情况下才合适。如果漏判的代价远大于误判就应该把阈值往低调牺牲精确率换召回率。我做过一个对比同一组预测概率阈值从 0.5 调到 0.3召回率能涨十几个点精确率只掉三四个点F1 反而更高。这种调整不需要重新训练只是改一个判断门槛。最后看一眼学到的权重和真值的对比。在我构造的数据上三个有信号的特征对应的权重应该接近 1.2、负 0.8、1.6两个噪声特征对应的权重应该接近 0。实测结果通常在真值附近百分之几到十几的偏差范围内噪声特征权重也基本被压到 0.05 以内。这个对比比任何单一的准确率数字都更能说明模型确实学到了数据里的结构而不是在拟合噪声。4. 常见问题与排查技巧实录4.1 损失不降反而往上走这是最常见的求助场景。第一次遇到时我盯着代码看了半小时最后发现问题出在学习率上设成了 1.0对标准化后的数据来说太大了每次更新都跨过最优点跑到对面损失自然越跑越高。判断方法很简单把学习率除以 10 再跑一遍如果损失变成单调下降就确认是学习率问题。如果降了学习率还是不降下一个怀疑对象是梯度符号写反了把w - lr * dw写成w lr * dw损失会爆炸式增长通常几轮就能看出来。还有一种更隐蔽的情况数据没做标准化。这时候损失可能先降一小段然后开始震荡看起来像学习率问题其实调小学习率也只是把震荡变得平缓收敛依然很慢。我的排查顺序是固定的先确认标准化做了没再确认梯度的数值校验过没过最后才调学习率。这个顺序能覆盖九成以上的问题。4.2 损失卡在 0.693 附近不动这个数字太有辨识度了它是 sigmoid 输出恒为 0.5 时的交叉熵意味着模型的预测和随机猜没区别。出现这个现象我按三个方向排查。第一梯度是不是算成了零打印一下dw的范数如果是 0往前查dz是不是全零再往前查p和y的形状是否匹配或者数据类型是不是整数导致除法被截断。第二参数更新是不是没生效把更新前后的w打印出来对比如果一模一样说明循环里根本没执行更新语句。第三输入特征是不是全是常数标准化之后常数特征会变成全零列如果所有列都是零那模型确实学不到任何东西。我踩过的具体一次坑是y的数据类型问题。标签从某个地方读进来是整型计算p - y时 NumPy 做了类型提升结果没问题但在另一个地方用np.mean(dz)求偏置梯度时如果dz被意外转成了整型均值会被截断。解决办法是在函数入口统一用astype(np.float64)强制转换多写一行省掉半天排查。4.3 准确率很高但模型其实没用这个问题比前两个更值得警惕因为它不会报错只会让你误以为成功了。典型症状是准确率 0.9 以上但打出混淆矩阵一看模型把所有样本都判成了多数类。原因通常是正负样本严重不均衡比如正样本只占 5%模型只要学会“全判负”就能拿到 95% 的准确率。识别方法很直接看召回率。全判负的模型召回率是 0一眼就能看出来。处理方式有三条路可以走给少数类的损失加权、调整判定阈值、或者对少数类做重采样。我最常用的是第一种在损失函数里给正样本乘一个权重权重取负样本数除以正样本数实现上只需要改一行。这个做法不改变数据结构不引入额外的随机性效果也稳定。4.4 训练过程中出现 NaNNaN 一旦出现就会污染所有后续计算而且往往在几十轮之后才被发现。源头基本就两类指数溢出和 log 零。前者出在 sigmoid 的实现上后者出在交叉熵上。我在 2.5 节里写的分段 sigmoid 和概率截断就是为了堵这两个口子。还有一种容易被忽略的来源是学习率过大导致的参数爆炸。权重在几轮之内涨到 1e10 这个量级线性打分变成极大的数sigmoid 输出精确的 0 或 1交叉熵再一取 log直接 NaN。这种情况的特征是损失在前面几轮先正常下降然后突然跳到 NaN。排查时打印每轮的权重范数如果它单调暴涨那就是学习率问题降一个数量级即可。4.5 训练集表现好测试集崩掉这是过拟合的典型表现。多变量场景下特征一多共线性一出现权重就会被推得很大模型在训练集上把噪声也学进去了。判断标准是训练集和测试集的指标差距如果准确率差 10 个点以上就要处理了。处理手段按成本从低到高排先加 L2 正则把 λ 从 1e-4 调到 1e-2 试一遍再看特征之间有没有高度相关的相关性超过 0.9 的可以考虑去掉一个最后才考虑加特征或者换模型。我个人的经验是大部分过拟合问题靠调正则化系数就能压下去不需要动特征工程。这里有个反直觉的点正则化系数不是越大越好加到一定程度训练集和测试集的表现会一起变差那是欠拟合了需要往回退。4.6 问题速查表现象最可能的原因首选排查动作损失震荡或上升学习率过大 / 未标准化学习率除以 10检查特征尺度损失停在 0.693梯度为零 / 更新未生效打印梯度范数与更新前后权重损失突然变 NaN指数溢出 / 参数爆炸检查 sigmoid 实现与学习率准确率高但召回率为 0类别不均衡看混淆矩阵加类别权重训练测试差距大过拟合 / 共线性加大 L2 系数查特征相关性收敛极慢学习率过小 / 特征未缩放提高学习率确认标准化生效权重数值异常大正则缺失 / 特征共线加 L2计算特征相关矩阵这张表我贴在显示器旁边贴了很久后来问题都解决了才撕掉。它最大的价值不是给出答案而是给出一条固定的排查路径避免在慌乱中乱改代码。5. 我在这套实现里沉淀下来的几个习惯写到这里想补充几个不在教科书里、但确实帮我省了很多时间的做法。第一个是固定随机种子并把数据构造过程写进代码。很多人调试时用外部数据文件每次跑结果都不一样根本没法判断改动是好是坏。我习惯在脚本开头用default_rng(42)构造一份可复现的模拟数据先把算法调通再接真实数据。这样算法层面的问题和数据层面的问题就不会搅在一起。第二个是把中间量打出来而不是靠猜。损失不降的时候我会连续打印十轮的损失、梯度范数、权重范数、偏置值。这四个数字放在一起看基本能定位到问题在哪一层。梯度范数为零说明反向传播断了权重范数暴涨说明学习率大了偏置值异常大说明数据不均衡损失下降但梯度范数不变说明可能卡在了平台区。这套“四数字诊断法”比任何调试器都直接。第三个是阈值一定要在验证集上选不能在测试集上选。我早期犯过这个错在测试集上扫一遍阈值取最好的 F1报出来的数字漂亮得不像话但换一批数据就崩了。正确做法是划出验证集专门用来选阈值和调超参测试集只在最后用一次。这个原则说起来简单真到赶进度的时候特别容易破功我现在会在代码里把测试集的变量名写成X_test_final用一个刺眼的名字提醒自己别提前碰它。最后一个体会是关于“手写”这件事的价值边界。手写一遍是为了理解不是为了替代框架。真到生产环境我还是会用成熟的库因为它们在数值稳定性、稀疏矩阵支持、多线程并行这些方面做得比手写版本好太多。但理解过内部机制之后用起库来是完全不同的体验——报错信息能看懂超参有直觉效果不好时知道从哪儿调。这个差别只有自己推过一遍梯度、踩过一遍坑的人才体会得到。
