1. 从线性回归到分类问题逻辑回归的完整推导做深度学习的朋友迟早会遇到这三个概念逻辑回归、Softmax 回归、交叉熵。很多人初学的时候把它们当成三个孤立的模型分别去记结果越记越乱。实际上这三者是同一条思路在不同场景下的延伸逻辑回归解决二分类问题Softmax 回归把它推广到多分类而交叉熵则是这两个模型共同使用的损失函数也是整个深度学习分类任务的基石。我最早接触逻辑回归时有个困惑为什么明明叫回归干的却是分类的活后来才明白逻辑回归的核心不是直接预测一个数值而是预测样本属于某个类别的概率。概率天然落在0到1之间线性回归的输出却可以跑到正负无穷所以需要引入一个函数把线性输出压缩到[0, 1]区间。这个函数就是sigmoid。1.1 sigmoid函数为什么长这样sigmoid的公式极其简洁[ \sigma(z) \frac{1}{1 e^{-z}} ]这个函数有几个非常优雅的性质。首先当z0时输出恰好是0.5这意味着模型以0.5作为默认的判定阈值具有天然的对称性。其次它的导数形式极为简洁[ \sigma(z) \sigma(z) \cdot (1 - \sigma(z)) ]这个性质在梯度下降中至关重要。很多初学者不理解为什么神经网络的反向传播里总出现\hat{y}(1-\hat{y})这种项根子就在这个导数公式上。sigmoid的导数等于输出乘以一减输出形式与概率分布完美对应这让我在推导梯度时省了大量功夫。实际应用中还有一个经常被忽略的细节sigmoid对中间区域的输入最敏感两端很快饱和。输入从-1变化到1时输出大约从0.27跳到0.73这个区间正好是模型最有判断力的范围。一旦输入绝对值超过4或5输出基本就钉死在0或1附近梯度趋近于零参数更新极其缓慢。这就是梯度饱和现象后面讲训练技巧时还要展开。1.2 从线性决策面到概率输出逻辑回归的完整表达式是[ P(y1|x) \sigma(W^T x b) ]本质上它先用线性模型 W^T x b 映射特征再用sigmoid转换为概率。这里有个容易忽略的点逻辑回归的决策边界在原始特征空间里永远是线性的。如果有人告诉你它用sigmoid函数所以是非线性的那是在混淆视角。非线性变换发生在输出端而不是特征空间内。特征空间里分界线就是 W^T x b 0 这条直线或超平面。从线性回归切换到逻辑回归时损失函数也要跟着换。线性回归用均方误差MSE逻辑回归若继续用MSE会面临两个问题。第一梯度被sigmoid的饱和区压制训练极慢甚至停滞。第二MSE假定误差服从高斯分布而二分类问题的目标本质上是伯努利分布用错分布假设相当于用错了尺子。这时候交叉熵就该登场了。1.3 贝叶斯视角下的逻辑回归从贝叶斯角度看逻辑回归在做什么它实际上是对后验概率 P(y|x) 做建模。假设两类样本的特征都服从某个指数族分布且协方差矩阵相同推导出来的后验概率恰好就是sigmoid形式。这个结论在经典统计机器学习教材里都有证明实际意义是逻辑回归不是一个拍脑袋发明的模型它有扎实的概率假设做支撑。理解了这一层就会明白为什么逻辑回归的系数可以当作特征重要性的参考。因为模型直接对概率建模每个特征前的系数W_i就代表了该特征取值的对数几率贡献。系数为正特征值增大时正类概率上升系数为负则相反。虽然没有决策树那种直观的分裂规则但系数的符号和大小仍然能给业务分析提供可解释性。2. 从二分类到多分类Softmax回归的自然演化逻辑回归解决二分类问题那遇到手写数字识别这种十类分类任务怎么办一种朴素的想法是训练多个二分类器比如是1还是不是1、是2还是不是2然后用某种策略组合。但这种做法忽略了类别之间的竞争关系而且每个分类器的概率尺度不统一组合策略非常别扭。Softmax回归用一套参数同时处理所有类别输出一个概率分布向量天然解决了这个问题。2.1 Softmax的公式与几何直觉Softmax的表达式[ \text{softmax}(z)i \frac{e^{z_i}}{\sum{j1}^K e^{z_j}} ]分母对所有的 e^{z_j} 求和分子对应第i类的指数。这样输出的每一项都在0到1之间且所有项加起来恒等于1。这个和为1的性质让输出可以直接解释为概率分布——这是逻辑回归做不到的因为二分类时两个互补概率只需要一个值就能表达。指数运算的作用值得仔细体会。它首先把输入全部变为正数其次放大了输入之间的差异。如果 z_12z_21两者本来只差1但 e^2 ≈ 7.39e^1 ≈ 2.72归一化后概率大约是0.73和0.27差距从1倍变成了接近3倍。这相当于对输入做了一次非线性放大让模型对最有把握的类别更加自信。从几何上看Softmax对输入向量做的是概率单纯形投影。把 z 想象成高维空间里的一个自由点Softmax把它投影到所有坐标非负且和为1的平面上。这个约束空间就是概率单纯形。理解了这层几何意义就理解了为什么Softmax适合多分类它天生把任意实值向量映射为合法的概率分布。2.2 温度参数改变输出的置信度分布Softmax有个不那么常见但实用性极强的变体——带温度参数的版本[ \text{softmax}(z / T)i \frac{e^{z_i / T}}{\sum{j1}^K e^{z_j / T}} ]当温度 T1 时就是标准Softmax。T越大输出的概率分布越平滑各类别概率趋于接近T越小分布越尖锐最大值位置的概率趋近于1。这个trick在大模型蒸馏和强化学习中都很常见用来控制模型输出置信度。实际工作中我做过一次温度调参实验手写数字分类模型在T1时对难例的置信度在0.5左右摇摆调到T0.5后直接拉到0.9以上看起来更自信但过拟合风险也随之上升。温度参数本质上是在调节模型的熵需要根据任务场景平衡。2.3 Softmax回归vs多个二分类器的本质区别有人会问既然二分类可以拆成多个逻辑回归为什么要用Softmax区别在于参数共享和类别互斥性。多个二分类器是一对多策略每个分类器单独训练各自的决策边界互不影响。训练是猫还是不是猫的分类器时狗和兔子的样本全被当成负样本处理训练是狗还是不是狗时猫和兔子又成了负样本。这套方案有两个隐患类别不均衡极为严重每类的负样本可能是正样本的好几倍而且某个样本可能被多个分类器同时判定为正类得到矛盾结论。Softmax回归一次输出所有类别的概率训练时所有类别一起优化自然引入类别间的竞争关系。预测时取概率最大的类别作为结果天然保证了一致性和排他性。多标签场景下才需要拆成多个二分类或使用sigmoid做逐标签预测——这一点很多初学者会搞混。3. 交叉熵损失函数信息论视角与梯度推导交叉熵是整篇文章的核心主题。逻辑回归和Softmax回归都用它做损失函数深度学习里的绝大多数分类任务也都在用它。为什么不继续用均方误差理由需要从信息论和梯度两个角度分别理解。3.1 从信息论理解交叉熵信息论里交叉熵定义为[ H(p, q) -\sum_i p_i \log q_i ]这里 p 是真实概率分布q 是模型预测的概率分布。交叉熵度量的是用分布q去编码真实分布p所需的最小平均编码长度。如果q和p完全一致交叉熵等于p的熵这是理论下界。差异越大交叉熵越大。在分类任务中真实标签通常用one-hot编码表示。比如一个三分类样本的标签是第2类对应的p就是 [0, 1, 0]此时交叉熵公式里的求和只剩一项[ L -\log q_2 ]这就是为什么很多训练日志里显示的 loss 恰好是正确类别的预测概率取负对数。预测概率越接近1损失越接近0预测概率越小损失增长越快尤其当预测概率接近0时损失趋近无穷。这个对错误分类施以重罚的特性让模型对低置信度的错误预测非常敏感。二分类场景下的交叉熵公式通常写成[ L -\left[ y \log \hat{y} (1-y) \log (1-\hat{y}) \right] ]y取1时只看第一项y取0时只看第二项。这个公式实践中最容易踩的坑是数值下溢当\hat{y}接近0或1时log里面可能出现0导致计算结果为无穷。后面讲数值稳定性时再谈解决方案。3.2 梯度推导核心中的核心交叉熵和sigmoid/Softmax的组合之所以被广泛使用一个关键原因是梯度形式极其简洁。拿二分类逻辑回归来推导一遍。设线性输出 z W^T x b预测概率 \hat{y} \sigma(z)损失 L -[y\log\hat{y} (1-y)\log(1-\hat{y})]。对 W 求梯度运用链式法则[ \frac{\partial L}{\partial W} \frac{\partial L}{\partial \hat{y}} \cdot \frac{\partial \hat{y}}{\partial z} \cdot \frac{\partial z}{\partial W} ]逐项计算。第一项[ \frac{\partial L}{\partial \hat{y}} -\frac{y}{\hat{y}} \frac{1-y}{1-\hat{y}} \frac{\hat{y} - y}{\hat{y}(1-\hat{y})} ]第二项sigmoid导数[ \frac{\partial \hat{y}}{\partial z} \hat{y}(1-\hat{y}) ]两项相乘分母的 \hat{y}(1-\hat{y}) 正好约掉得到[ \frac{\partial L}{\partial z} \hat{y} - y ]这个式子简洁到了极点损失对线性输出的梯度恰好等于预测概率减真实标签。这意味着什么当模型预测接近真实标签时梯度趋近于0参数几乎不动预测偏离时梯度近似等于误差本身推动参数大刀阔斧地修正。交叉熵与sigmoid的组合天生就是为梯度下降设计的默契搭档。换成Softmax配交叉熵梯度同样优雅。Softmax的雅可比矩阵本来有复杂的交叉项但配合交叉熵后损失对第i类线性输出的梯度也变成了[ \frac{\partial L}{\partial z_i} \hat{y}_i - y_i ]第i类预测概率与one-hot标签的差。向量化的表示就是 \hat{y} - y看起来和二分类几乎一样。这个结论被我验证过无数次也是很多深度学习框架里交叉熵和Softmax被合并成一个算子的原因——合在一起计算又快又稳还能避免中间结果的数值问题。3.3 为什么不建议用均方误差对比实验最有说服力。我用同样的逻辑回归结构、同样的数据、同样的优化器只换损失函数观察收敛曲线。均方误差配sigmoid的梯度表达式是[ \frac{\partial L}{\partial z} 2(\hat{y} - y) \cdot \hat{y}(1-\hat{y}) ]多出来的因子 \hat{y}(1-\hat{y}) 在预测接近0或1时会把梯度压得极小。最需要学习的是那些刚刚起步、离正确答案很远的样本可MSE恰恰在样本最困难时给最强的梯度衰减。训练曲线显示MSE版本的模型前期loss下降极慢迭代几百步后仍处于高位切换到交叉熵后几十步就进入快速收敛区间。印象最深的是同样的初始化权重交叉熵版本的模型在测试集上的准确率最终高出两到三个百分点。如果你见到某些旧项目仍然使用MSE做分类损失大概率是历史遗留代码。可能在一个内部演示里某个团队写了二分类只把线性输出直接当预测值没有套sigmoid也没用交叉熵这实际上是线性回归误用场景训练时梯度没问题但输出无法解释为概率。4. 数值稳定性工程实现中的关键细节理论推导再漂亮落实到浮点数运算时就可能翻车。Softmax和交叉熵在计算机上的实现有一些必须处理的数值问题这也是很多框架把两者合并实现的原因。4.1 Softmax的数值溢出问题看这个例子。假设Softmax的输入是 [1000, 1005, 990]直接算 e^1000 会发生什么float32能表示的最大数大约3.4e38e^1000 ≈ 1.97e434溢出直接得到inf。就算不溢出e^1005 / e^1000 这种运算在浮点数下也可能损失精度。解决办法出奇地简单给所有输入统一减去一个常数结果不变。因为[ \frac{e^{z_i}}{\sum_j e^{z_j}} \frac{e^{z_i - c}}{\sum_j e^{z_j - c}} ]常数c最稳妥的选择是max(z_i)这样最大的指数项变成 e^0 1所有项都在安全范围内。这就是几乎所有深度学习框架在Softmax实现里都会做的操作。没人会直接暴露这个细节但理解它对断点调试非常有帮助。几年前我在自己实现一个简单的分类器时遇到loss变成NaN打印中间输出后发现 z 里有几个接近300的大数减掉最大值后训练一切正常。同理交叉熵里的 \log \hat{y} 在 \hat{y} 为0时是负无穷。通常的做法是对 \hat{y} 加一个极小值如1e-12或者用log_softmax联合计算把直接计算概率的中间环节绕开。log_softmax的表达式[ \log(\text{softmax}(z_i)) z_i - \log\sum_j e^{z_j} ]这样算出来的 log 概率既避免了中间值下溢到0甚至负数也避免了先算概率再取log的精度损失是更稳的方式。PyTorch里直接调 torch.nn.CrossEntropyLoss它的实现把LogSoftmax和NLLLoss合并了正是为了这个目的。当你看到某个教程手动拼了softmax加log加nll_loss三个操作时心里要清楚这样做可能引入不必要的数值风险。4.2 数据预处理与初始化对收敛的影响数值稳定不止和损失函数实现有关数据预处理同样关键。我在某个实验里直接拿像素值0到255的原始图像训练逻辑回归loss曲线震荡严重准确率在低位徘徊。归一化到0到1之后同样的模型参数和优化器top-1准确率立刻提升接近十个百分点。原因在于特征尺度差异过大会让线性输出W^T x的数值范围失控导致sigmoid长期处于饱和区梯度几乎消失。权重初始化也讲究。常见做法是把权重初始化为接近零的小随机数比如标准正态分布乘以0.01。这样初始的线性输出接近0sigmoid工作在敏感区梯度充足模型能够正常启动。如果初始化得太大模型从一开始就死在饱和区训练会变成假性死机——loss不降但参数也没怎么更新。4.3 学习率与梯度的尺度匹配交叉熵与Softmax的梯度表达式 \hat{y} - y 有一个好特性梯度各分量严格落在(-1, 1)区间。这意味着无论输入特征如何波动梯度本身有界对学习率的选择比较宽容。相比之下MSE配合sigmoid在饱和区几乎零梯度在非饱和区最大梯度也只有0.5左右尺度更小且不均匀需要更精细地调学习率。这也是交叉熵在实际工程里更受欢迎的原因之一。不过有界不代表可以乱来。实践中梯度还要经过反向传播逐层放大或衰减神经网络深层场景里仍然需要配合归一化技术或自适应优化器如Adam来控制更新步长。我见过新手在逻辑回归上调了个1.0的学习率loss直接发散去到NaN换到0.1之后训练正常这说明即便有界梯度太大步长仍然可能越过最优点进入发散区域。5. 工程实践正则化、类别不平衡与效果验证理论模型写完了下一步是真正在数据集上跑起来。这里涉及几个工程上绕不开的问题特征标准化、正则化选择、类别分布处理以及模型效果的诊断方式。5.1 正则化选择什么时候用L1、什么时候用L2逻辑回归和Softmax回归都是线性模型参数维度等于特征维度。在特征数量远超样本数量的场景比如文本分类里的词袋特征模型极易过拟合必须引入正则化。L2正则化的梯度是直接在原有梯度上加上参数本身乘以正则化系数λ它倾向于让参数均匀地变小但不精确为0。对于特征之间相关性较强的场景L2能平滑权重分布稳定模型。L1正则化的梯度则包含符号项它会推动参数中的大部分精确归零达到特征选择的效果。实际上组合使用弹性网正则化L1加L2也常见——先用L1筛特征再用L2稳定剩余的权重。实际操作里正则化系数λ需要从小范围试起从0.0001, 0.001, 0.01逐级扫描观察验证集性能变化。λ太大会把模型的输出概率全部压向先验分布准确率骤降λ太小则过拟合现象复现。我习惯用一组对数间距的候选值做3到5折交叉验证根据验证loss曲线选出最优。这里有个小技巧如果训练loss和验证loss之间的差距随着λ增大而缩小说明正则化正在发挥作用可以继续加大如果两者同时快速上升说明λ已经过头了。5.2 类别不平衡该怎么处理逻辑回归在训练时假设随机梯度下降看到的样本分布近似真实分布。如果正类只占1%模型学到的最优策略可能是什么都不做、全部判负也能达到99%的表观准确率。这个假象在混淆矩阵里暴露无遗。我在处理某个异常检测任务时遇到过这类情况正例300条、负例3万条没做任何处理直接训练精确率看着还行召回率只有0.1模型几乎把所有正例都漏掉了。标准做法有几种。一是重采样对少数类过采样如SMOTE生成合成样本或对多数类欠采样。二是调整损失函数里的类别权重等价于给少数类样本的损失乘上更大系数迫使模型更加关注稀有类别。PyTorch的CrossEntropyLoss里自带weight参数这比手动改数据分布要省事得多。实际中我会先做简单的多数类降采样让比例降到大约2:1到5:1之间训练初期效果立竿见影再配合类别权重做精调。5.3 如何诊断模型到底学到了什么训练完成后不要只看一个test accuracy就完事。几个工具可以帮你看得更深。第一个是混淆矩阵。通过它你能看到模型具体在哪两个类别之间混淆最多。手写数字识别里最经典的混淆对是4和9或者3和8。如果发现这类系统性错误多半是特征空间中这些类别的分布高度重叠单纯增加模型容量未必能解决更好的方向是补充区分性更强的特征。第二个是预测概率分布图。把测试样本按预测概率分桶统计每个桶里的准确率。一个校准良好的模型概率0.9到1.0之间的样本准确率应该接近90%以上。如果出现概率很高但错误很多的样本说明模型过于自信可能过拟合了训练集中的某些模式。这时候温度缩放前面提到的T参数可以用来重新校准概率。第三个是权重向量可视化。对于图像类任务直接把Softmax回归的每一类权重向量reshape成图像查看。训练有素的模型权重图会呈现出类似该类样本平均模板的形式——数字1的权重图看起来像斜杠数字0的权重图是一个环。这既是模型可解释性的直接证据也是排查数据标注错误的有力工具。如果某一类的权重图杂乱无章多半是这类样本太少或标注噪声太大。6. 从分类到表示学习逻辑回归和Softmax的上层应用逻辑回归和Softmax回归不只停留在浅层模型。它们在整个深度学习体系里扮演着两个关键角色作为网络的最终分类头以及作为表示学习的诊断工具。6.1 分类头在神经网络中的角色几乎所有图像分类、文本分类的神经网络架构最后几层做的事情都一样把前面主干网络提取的高维特征映射到类别空间。这个最终的线性层加Softmax本质上就是一个Softmax回归。把某个卷积网络的最后一层特征取出来比如2048维的向量输入到一个独立的Softmax回归分类器里也能得到相当不错的分类效果——这就是最简单的迁移学习。在这个框架下主干网络负责把原始输入变成好的特征表示分类头负责用线性边界切分这些特征。两者各司其职任何一个部分太弱都会拖累整体。在少样本场景里固定主干特征、只训练一个逻辑回归分类头往往比微调整个网络更稳健。原因是主干网络在大规模数据上学到的特征是通用的小样本不足以支撑全网络微调而线性分类头参数量小、不容易过拟合。这个思路在多个实际任务里验证过特别是当训练数据只有几百张时效果显著优于直接端到端微调。6.2 作为诊断工具测试表示质量逻辑回归还是一种评估表示质量的利器。假设有人给你一个特征提取器你想知道它提取的特征区分度如何。用这些特征训练一个逻辑回归模型或线性Softmax如果线性分类能拿到高准确率说明特征本身是线性可分的如果线性模型表现不佳但K近邻表现好说明特征存在较强的非线性结构。这类诊断信息对决定下一步建模策略非常有帮助。我在对比不同预训练模型时常用的方法拿同一批标注数据分别提取各模型的倒数第二层特征训练逻辑回归比较线性分类准确率。这个指标比端到端微调的准确率更能反映特征本身的判别能力而且训练成本低、结果稳定。谁的特征更线性可分谁的基础表示就更适合作为迁移学习的起点。6.3 决策边界与不确定性估计逻辑回归和Softmax回归天然输出概率这赋予了它们一个隐藏优势可以做简单的不确定性估计。对于一个测试样本如果模型给出的最大类别概率只有0.4说明这个样本处于决策边界附近归类结果可信度低。在自动标注、辅助决策等场景里可以把这类低置信度样本挑出来交给人工复核显著降低错误率。不过要注意神经网络输出的概率未必校准良好Softmax的置信度有时会虚高。针对这一点可以做一个简单的线下校准拿一部分验证集样本记录模型输出的最大概率值和对应的真实准确率绘制校准曲线。如果发现系统性的偏移比如概率0.9时准确率只有0.6可以用前面的温度缩放做个一维参数调整。这个操作往往只需几十行代码却能大幅提升输出概率的可信度我几乎在每个实际落地的分类项目里都会做一遍。还有一个方向值得提及类别间关系的学习。标准Softmax回归把每个类别当成独立互斥的但现实世界很多分类问题存在层级结构比如动物下有猫和狗。层级SoftmaxHierarchical Softmax通过把类别组织成树状结构来降低大词表场景的计算开销这个技巧在语言模型领域一度非常重要。理解基础Softmax的数学形式之后再去读层级Softmax的公式会顺理成章很多。7. 常见误区与自查清单围绕这个主题我在教学和代码评审里见过大量重复出现的误区。把它们集中整理出来算是给后来者的一份避坑手册。7.1 概念混淆类误区第一个误区是把逻辑回归当成回归模型。它叫回归纯粹是历史原因处理的是分类问题输出的是概率。第二个误区是认为Softmax可以替代sigmoid做任意二分类——实际上二分类时两者严格等价sigmoid输出p,Softmax输出[p, 1-p]没区别但框架实现上二分类用sigmoid更省显存和计算。第三个误区是混淆多分类和多标签多分类每个样本只能属一个类别用Softmax多标签每个样本可以同时拥有多个标签通常对每个标签单独用sigmoid加二元交叉熵。这个区别我在一个项目里犯过错误把多标签任务套了Softmax训练半天发现模型总是只预测出少数几个标签因为Softmax的和为1约束天然抑制了同时激活多个标签的行为。7.2 使用中的典型错误训练时一个高频错误是数据泄露。先做标准化再划分训练集和测试集会让测试集的信息通过均值方差间接参与训练得到的评估指标虚高。正确做法是先划分数据再在训练集上计算均值和方差用同一套参数转换测试集。逻辑回归对特征尺度敏感标准化不是可选项是必选项。另一个错误是选择损失函数和输出层不匹配。输出层用了Softmax损失却用MSE这在数值上完全可行但收敛慢且容易陷入局部平坦区。输出层用sigmoid损失用多分类交叉熵框架会报错或者给出荒谬结果。工程上我建议固定组合二分类sigmoid加BCE多分类Softmax加交叉熵不要混搭。还有一个细小但影响实际使用的问题预测时到底该用 argmax 还是根据概率阈值决定。标准多分类任务用 argmax 取概率最大的类别没毛病但如果想让模型在不确定时弃权输出低置信度并拒绝判断那就需要设置一个最小概率阈值低于它时标记为待人工处理。这在自动化流程里很常见做的时候记得把阈值的选择也放入验证集调参流程里不要拍脑袋定。7.3 项目落地前的前置检查清单把所有的实战经验收拢成一份检查清单每接手一个新的分类任务时快速过一遍标签是否互斥互斥用Softmax不互斥用多标签sigmoid特征是否标准化先划数据再算均值和方差类别是否严重不平衡考虑过采样、欠采样或损失加权有没有从验证集统计出最优分类阈值还是直接用默认的0.5或argmax损失函数输出层是否匹配建议统一用框架的融合算子数值稳定性是否保障确认框架实现里做了减最大值的Softmax处理权重初始化是否接近零偏置是否置零正则化系数是否经过交叉验证还是直接用了默认值测试集的评价指标是否被类别不平衡误导看混淆矩阵和各类别单独指标前几次做分类项目时踩了很多坑后来把这份清单逐步完善现在几乎成了每次开工的固定仪式。这些检查项大多不是如果出错会有多严重的问题而是出错概率非常高、一错就返工再错就更难追的问题提前过一遍比事后排查省时得多。
