刚把深度学习第二节课的linear代码仔细捋了一遍趁着热乎劲把解读整理出来。老实说linear线性层也叫全连接层在PyTorch里就是一个类日常调用就是一行代码的事但真把源码翻开以后你会发现里面藏着不少值得琢磨的设计细节——参数怎么初始化、矩阵乘法为什么带转置、forward为什么走functional封装。把这些搞明白对后面理解卷积层、Transformer里的自注意力结构都有直接帮助。这篇内容适合刚学完PyTorch基础、想深入框架底层看一眼的同学也适合那些用linear用了很久但始终没搞懂为什么weight维度是反的的开发者。我会从数学原理、官方源码、实战训练、常见坑位四个方向展开最后再教你自己手写一个linear类保证读完以后你不仅能看懂源码还能动手改出适合自己项目的版本。1. 先搞清楚linear到底在算什么1.1 数学定义一个乘法加一个加法线性层做的事情用一行数学公式就能讲完y xW^T b其中x是输入向量或者一批输入W是权重矩阵b是偏置向量。很多初学者第一次看到W^T会愣一下心想为什么不能直接写成xW这里的关键在于PyTorch存储weight的方式weight的shape是(out_features, in_features)也就是每一行对应一个输出神经元每一列对应一个输入特征。为了让xshape是(..., in_features)能直接和weight做矩阵乘法需要把weight转置成(in_features, out_features)这样x W^T得到的结果最后一维正好是out_features。我刚学这个的时候用了一个特别土的类比把线性层想象成一个加工车间x是原材料一堆特征数值W是加工配方表b是保底产量。车间里有out_features条不同的生产线每条生产线对同样的原料给出不同的加工结果。你要做的事情就是把原料分别喂给每条生产线再加上每条线的保底值最后得到out_features个输出值。这么一想线性层的逻辑就非常直白。1.2 输入输出形状的细节再看一眼shape变化。线性层的完整输入格式是(N, *, in_features)其中N是batch大小*表示可以有任意数量的中间维度in_features是每个样本的特征数。输出是(N, *, out_features)。这里有个容易忽略的点linear对所有中间维度是一视同仁处理的。也就是说如果输入是(2, 3, 4)in_features4out_features8那么输出就是(2, 3, 8)相当于把最后那个维度上的4个数字线性变换成了8个数字前面的(2, 3)只是批量维度不影响变换本身。这个特性在处理序列数据的时候特别有用。比如文本数据经过embedding之后的shape是(batch, seq_len, hidden_dim)如果你只想对最后那个hidden_dim做线性变换直接用nn.Linear(hidden_dim, new_dim)就行前面的batch和seq_len完全不用管。很多初学者不知道这个特性非要先把数据reshape成二维再输入linear绕了一大圈。2. nn.Linear源码逐行拆解2.1 构造函数做了什么PyTorch的nn.Linear源码其实不长核心部分也就几十行。它的构造函数签名是def __init__(self, in_features, out_features, biasTrue): super().__init__() self.in_features in_features self.out_features out_features self.weight Parameter(torch.empty((out_features, in_features))) if bias: self.bias Parameter(torch.empty(out_features)) else: self.register_parameter(bias, None) self.reset_parameters()注意构造函数里用的是torch.empty它只是分配一块内存里面的值是未初始化的随机垃圾数据。这块内存的值马上会被reset_parameters()里的初始化方法覆盖所以这里用empty比zeros更高效——省去了一次多余的内存写入操作。这里还有一个值得品味的细节weight被包在Parameter里而不是直接用Tensor。Parameter是Tensor的子类唯一的区别在于当你把这个类注册到nn.Module上以后它会自动出现在模型的parameters()列表里也会自动被优化器识别。如果不用Parameter训练时梯度根本不会更新到这个张量上。biasTrue时创建偏置参数biasFalse时通过register_parameter(bias, None)显式注册一个None。这么做的目的是保证模型里始终有名为bias的参数条目这样在不同模型之间做state_dict对齐时不会因为缺少这一项而报错。2.2 初始化方法为什么是kaiming_uniform_看reset_parameters这个函数它只有两行def reset_parameters(self): init.kaiming_uniform_(self.weight, amath.sqrt(5)) if self.bias is not None: fan_in, _ init._calculate_fan_in_and_fan_out(self.weight) bound 1 / math.sqrt(fan_in) init.uniform_(self.bias, -bound, bound)如果用全零初始化所有神经元的输出都一样反向传播时梯度也一样网络永远学不出差异。所以需要随机初始化但随机范围有讲究。kaiming_uniform_是专门为ReLU这类激活函数设计的初始化方法它根据输入维度和输出维度计算权重矩阵的方差边界在(-bound, bound)之间均匀采样其中bound sqrt(6 / ((1 a^2) * fan_in))a是ReLU的负斜率负斜率PyTorch里传的是sqrt(5)这个值对应的是线性层使用的默认负斜率。如果你去掉amath.sqrt(5)这一项也就是a0那这个初始化就退化成标准的He初始化。从实际效果看对于线性层ReLU的常见组合这个默认值表现得非常稳。bias的初始化逻辑简单一些。它先通过_calculate_fan_in_and_fan_out算出weight的fan_in通常是in_features然后把bias初始化为(-1/sqrt(fan_in), 1/sqrt(fan_in))之间的均匀分布。这个范围比weight的初始化范围小很多因为bias不需要承载太大的方差只要保证不全部初始化为0就行。2.3 forward执行与F.linear的关系forward部分更短def forward(self, input): return F.linear(input, self.weight, self.bias)实际的计算逻辑被封装到了functional.linear里。这是一个C/CUDA实现的底层函数在CPU上会调用MKL或者OpenBLAS之类的高性能矩阵乘法库在GPU上则调用cuBLAS。这就是为什么PyTorch的矩阵运算比你手写Python双层循环快几个数量级。从计算的角度看F.linear内部执行的等价操作是output input.matmul(weight.t()) if bias is not None: output output bias这里还有一个细微的优化点矩阵乘法用的是input.matmul(weight.t())而不是weight.matmul(input.t()).t()。这两种写法数学上等价但第一种在内存布局上更友好可以直接利用连续内存上的计算减少了转置操作带来的额外开销。3. 实操写一个线性层并用它跑通全流程3.1 最简使用示例直接看一个最小可用例子import torch import torch.nn as nn layer nn.Linear(in_features4, out_features8) x torch.randn(3, 4) y layer(x) print(x.shape) # torch.Size([3, 4]) print(y.shape) # torch.Size([3, 8]) print(layer.weight.shape) # torch.Size([8, 4]) print(layer.bias.shape) # torch.Size([8])这段代码创建了一个将4维输入变换到8维输出的线性层。输入是3个样本、每个样本4个特征输出是3个样本、每个样本8个特征。从模型结构上看这就是一个没有激活函数的单层网络。如果把layer放在一个nn.Sequential里用起来更接近真实场景model nn.Sequential( nn.Linear(4, 8), nn.ReLU(), nn.Linear(8, 2) )输入经过第一层从4维变8维经过ReLU后再经过第二层从8维变2维。这个2维的输出可以直接接softmax做二分类也可以直接当回归输出用。3.2 训练一个小任务拟合y 2x 1光看前向计算还不够得真正训练一次。我做一个最简单的回归任务让模型学会y 2x 1。虽然这个问题用linear层来解有点大材小用但正好能直观看到权重和偏置的收敛过程。import torch import torch.nn as nn torch.manual_seed(42) x torch.linspace(-1, 1, 200).reshape(-1, 1) y 2 * x 1 0.1 * torch.randn_like(x) model nn.Linear(1, 1) optimizer torch.optim.SGD(model.parameters(), lr0.01) loss_fn nn.MSELoss() for epoch in range(500): pred model(x) loss loss_fn(pred, y) optimizer.zero_grad() loss.backward() optimizer.step() if (epoch 1) % 50 0: print(fepoch {epoch 1}, loss {loss.item():.6f}) print(fweight: {model.weight.item():.4f}, bias: {model.bias.item():.4f})这个任务学完后weight应该收敛到接近2.0bias收敛到接近1.0。整个过程就是反复执行前向传播、算loss、反向传播、更新参数这四个步骤。这里有一个值得注意的训练技巧训练前一定调用optimizer.zero_grad()清空梯度。PyTorch的梯度是累积的不清空的话上一次反向传播的梯度会累加到当前梯度上。很多新手第一次训练时发现loss不降或者loss剧烈震荡大概率就是忘了这行。关于学习率也可以多说一句。lr0.01对单层线性回归这种简单问题完全够用但如果你把模型换成深层的MLP0.01往往偏大会导致loss直接发散到NaN。反过来如果学习率设成1e-5训练速度又会慢得让人怀疑人生。我的经验是先跑几十个epoch观察loss下降趋势如果不降就调大一点如果震荡太剧烈就调小一点通常在一个数量级范围内来回试就能找到合适值。3.3 在真实场景里怎么用linearlinear最常见的两个使用场景一个是分类任务的输出层另一个是特征维度变换层。分类任务里linear的输出节点数通常等于类别数。比如10分类问题最后一层就是nn.Linear(hidden_dim, 10)训练时配合CrossEntropyLoss使用。注意CrossEntropyLoss内部已经包含了softmax操作所以模型最后一层只需要输出原始logits不需要手动叠加softmax。特征维度变换上一个典型场景是把模型的embedding向量从高维压缩到低维。假设你有一个文本分类模型BERT输出的向量是768维你要把它压缩到128维再送给后面的分类器那么中间就可以加一个nn.Linear(768, 128)。这种降维不只是在减少计算量很多时候还能起到特征筛选和防止过拟合的作用。再举一个综合例子。一个简单的MLP手写数字分类器可以这样搭model nn.Sequential( nn.Flatten(), nn.Linear(28 * 28, 256), nn.ReLU(), nn.Linear(256, 128), nn.ReLU(), nn.Linear(128, 10) )这里nn.Flatten把(28, 28)的图片拉平成一个784维向量后面接三个线性层中间穿插ReLU激活。这就是深度学习入门最经典的结构。4. 源码之外几个必须注意的细节和坑4.1 形状匹配的坑在实际写代码时和linear打交道最容易翻车的点就是形状不匹配。最常见的报错长这样RuntimeError: mat1 and mat2 shapes cannot be multiplied (3x5 and 6x4)这个报错的意思是你的输入矩阵是3行5列想和权重矩阵6行4列做乘法但5不等于6乘不了。解决办法一般是检查in_features是否和上一层输出维度一致或者检查输入数据是否忘记flatten。还有一个非常隐蔽的坑对单个样本做推理时输入shape容易搞错。假设模型期望输入是(batch, 784)你如果只传入一个样本且shape是(784,)模型会报错如果你自作聪明用了squeeze把batch维度去掉也会报错。正确做法是用unsqueeze(0)把shape变成(1, 784)。我把这个经验总结成一句话测试单样本时永远不要随意squeeze用reshape或者unsqueeze显式控制维度。4.2 初始化与训练不收敛很多时候模型训练不收敛不是你的逻辑写错了而是初始化和学习率不匹配。我之前做过一个实验把nn.Linear的初始化改成常数0.1然后在MNIST上训练一个MLP结果loss卡在2.3左右怎么都降不下去。原因就是权重全部相同所有神经元输出的梯度一致模型退化成只有一个有效神经元在干活。这就是为什么初始化方法会这么讲究。如果你的网络特别深建议检查一下每一层的输出方差有没有爆炸或者消失。一个简单的诊断方法是打印每一层的输出标准差正常应该在1附近。如果标准差逐渐增大到几百说明初始化方差太大如果逐渐缩小到接近0说明方差太小。这两种情况都会让深层网络训练困难。4.3 device和dtype问题新手经常遇到的一个报错是RuntimeError: Expected all tensors to be on the same device这个报错通常是因为模型在GPU上而输入数据还在CPU上。解决方法是把输入数据也转移到GPUx x.to(device)另一个不太显眼但同样麻烦的问题是dtype不一致。nn.Linear默认的权重是float32如果你的输入是float64PyTorch会自动报错或提示类型转换。混合精度训练时这种情况尤其常见因为自动混合精度会把某些计算降到float16如果你的模型里有自定义的float32算子就可能在反向传播时出现精度不匹配的问题。我的建议是在写数据加载器时统一用float32避免在训练过程中频繁做类型转换。4.4 如何调试一个linear层调试线性层其实有一些非常实用的工具。第一个是注册hook。PyTorch允许你在任意模块上注册forward hook用来捕获模块的输入和输出layer nn.Linear(4, 8) x torch.randn(3, 4) def print_output(module, input, output): print(finput shape: {input[0].shape}) print(foutput shape: {output.shape}) print(foutput mean: {output.mean().item():.4f}) layer.register_forward_hook(print_output) y layer(x)这样每次前向计算时都会打印输入输出形状和均值比在代码里到处插入print要干净得多。第二个是验证梯度是否正确。如果你改写了linear的实现可以用torch.autograd.gradcheck来验证自定义的正向函数和反向函数是否数学上一致。这个工具会通过数值方法计算梯度再和你手写的梯度做对比误差在一定范围内就说明实现正确from torch.autograd import gradcheck input torch.randn(4, dtypetorch.float64, requires_gradTrue) weight torch.randn(8, 4, dtypetorch.float64) bias torch.randn(8, dtypetorch.float64) test gradcheck(lambda inp: torch.nn.functional.linear(inp, weight, bias), input, eps1e-6, atol1e-4) print(test) # True注意gradcheck要求输入张量是float64类型否则数值误差会比较难控制。4.5 常见问题速查表问题现象可能原因解决方案输出shape多了或少了维度输入忘记flatten或reshape用view/reshape/flatten显式控制维度训练loss不降学习率过大/过小、初始化不当调整学习率、检查初始化分布权重和输入维度不匹配报错in_features写错打印权重shape核对维度模型与数据不在同一设备数据没做to(device)统一调用.to(device)梯度累积导致loss震荡忘记zero_grad每个step前调用optimizer.zero_grad()单样本推理报错缺少batch维度用unsqueeze(0)补上batch维5. 延伸从nn.Linear到自定义线性层5.1 自己写一个Linear类读源码最好的验证方式是自己动手写一个。我经常建议初学者把nn.Linear的实现自己复刻一遍不用多复杂几十行代码就够了import torch import torch.nn as nn import math class MyLinear(nn.Module): def __init__(self, in_features, out_features, biasTrue): super().__init__() self.in_features in_features self.out_features out_features self.weight nn.Parameter(torch.empty(out_features, in_features)) if bias: self.bias nn.Parameter(torch.empty(out_features)) else: self.register_parameter(bias, None) self.reset_parameters() def reset_parameters(self): nn.init.kaiming_uniform_(self.weight, amath.sqrt(5)) if self.bias is not None: fan_in, _ nn.init._calculate_fan_in_and_fan_out(self.weight) bound 1 / math.sqrt(fan_in) nn.init.uniform_(self.bias, -bound, bound) def forward(self, x): output x.matmul(self.weight.t()) if self.bias is not None: output output self.bias return output写完以后可以在简单任务上替换nn.Linear做对照实验如果精度一致说明你的实现没有毛病。这个过程非常训练基本功很多你以为自己懂了的东西真正动手写一遍才会发现漏洞。5.2 参数绑定的应用场景有些场景下需要多个linear层共享同一份权重比如孪生网络Siamese Network或者对比学习模型里两个分支要提取特征如果它们各自独立初始化学习出来的特征分布可能不一致。这时可以显式让两个层共享参数shared_layer nn.Linear(128, 64) branch1 nn.Linear(128, 64) branch2 nn.Linear(128, 64) branch2.weight branch1.weight branch2.bias branch1.bias不过更规范的做法是直接用同一个层实例参与多次调用shared_layer nn.Linear(128, 64) out1 shared_layer(x1) out2 shared_layer(x2)这样不仅参数天然共享反向传播时梯度也会正确累加到同一份参数上。5.3 进阶构建一个真正可用的MLP用好linear的最终目标是能搭建一个像样的多层感知机。这里我给出一个稍微完整一点的例子加上Dropout和BatchNorm让模型不那么容易过拟合import torch.nn as nn class MLP(nn.Module): def __init__(self, input_dim784, hidden_dims[256, 128], output_dim10): super().__init__() layers [] prev_dim input_dim for hidden_dim in hidden_dims: layers.append(nn.Linear(prev_dim, hidden_dim)) layers.append(nn.BatchNorm1d(hidden_dim)) layers.append(nn.ReLU()) layers.append(nn.Dropout(0.2)) prev_dim hidden_dim layers.append(nn.Linear(prev_dim, output_dim)) self.net nn.Sequential(*layers) def forward(self, x): return self.net(x)这个结构在小型分类任务上基本够用。hidden_dims的选取经验是第一层不要太小否则拟合能力不够最后一层不要太大否则容易过拟合。中间层逐层递减是比较稳妥的做法。我个人在实际操作中的体会是读源码不要想着一次看懂大而全的网络结构从linear这种最小组件入手最合适。把weight的shape为什么是(out, in)、初始化为什么是kaiming、forward为什么走functional封装这三个问题搞清楚往后看卷积层、RNN甚至Transformer的源码都会有熟悉的感觉。你甚至可以试着改一改初始化方法换成xavier_uniform对比效果或者给linear加上自己的正则项这些动手实验带来的理解深度是看十遍文档都换不来的。
