学深度学习最怕的一件事是教程看了一堆笔记记了一本真让你写一个网络出来还是卡在 shape 对不上。这类五大神经网络算法合集教程之所以一直有市场就是因为它把 CNN、RNN、LSTM、GAN、Transformer 这五条主干拉成了一条线前面用 CNN 打图像的基础中间用 RNN 和 LSTM 讲序列建模再用 GAN 讲生成对抗的思路最后落到 Transformer 这个现在几乎所有大模型都在用的骨架。100 集的体量看起来吓人但拆开看真正需要动手写代码的核心结构其实就五个。这篇文章不逐集复述课程目录而是把这五大算法按能不能跑、跑起来要什么、怎么验证有效的顺序重新组织一遍。每个网络我都会给一套最小可运行的 PyTorch 骨架代码说明它解决什么问题、输入输出是什么形状、关键超参怎么设以及训练时最容易踩的坑在哪里。你不一定需要 GPUCPU 上把 MNIST 和一个玩具序列任务跑通完全够用但如果你想按课程节奏把每个案例都练一遍一块 6G 以上显存的显卡会舒服很多具体占用取决于 batch size 和序列长度后面会给观测方法。需要提前说清楚的是这五类网络不是并列关系也不是替代关系。CNN 依然是从图像、语音频谱到时间序列特征提取最稳的归纳偏置RNN 和 LSTM 在长序列上的梯度问题已经被门控机制和后续架构缓解但在小数据、强时序依赖的场景仍然好用GAN 的核心价值是学会数据分布而不是拟合标签Transformer 用自注意力换掉了循环结构把并行度和长距离依赖同时解决了。搞清楚这五者的分工比死记每个公式重要得多。下面的内容会带读者完成四件事搭一套干净的 PyTorch 环境把五个网络的最小实现各自跑通一次用 loss 曲线和指标判断训练是否正常以及把显存、参数量、学习率这些工程参数调到一个能复现的状态。适合刚学完 Python 和基础线代、想从看懂公式过渡到能写出可训练代码的读者也适合已经用过现成模型、想补一遍底层原理的人。1. 五大神经网络算法核心能力速览先把这五个网络的关键信息压成一张表。这张表不需要背它的作用是让你在课程第 30 集、第 60 集卡住的时候能快速定位自己遇到的到底是结构问题、数据问题还是训练策略问题。能力项CNNRNNLSTMGANTransformer核心结构卷积 池化循环单元 隐状态输入门/遗忘门/输出门生成器 判别器对抗多头自注意力 前馈层擅长任务图像分类、目标检测、频谱特征短序列分类、序列标注长序列建模、文本分类图像/数据生成、风格迁移通用序列建模、大模型底座输入形式[B, C, H, W][B, T, D][B, T, D]噪声向量 真实样本[B, T, D]关键超参kernel_size、stride、通道数hidden_size、层数hidden_size、层数、dropout潜在维度、lr、训练轮换比d_model、nhead、层数并行度高低时序依赖低时序依赖中需交替训练高全序列并行显存敏感点分辨率与 batch size序列长度序列长度 × 层数 × 双向生成器与判别器同时驻留序列长度平方注意力矩阵典型训练难点过拟合、BN 与小 batch 冲突梯度消失、长依赖丢失收敛慢、易过拟合模式崩溃、训练不均衡学习率敏感、需 warmup是否支持 CPU 训练支持小数据支持支持支持小分辨率支持小模型适合场景视觉入门、特征提取时序入门、原理理解NLP 基础、序列分类生成任务理解现代模型必修这张表里最值得关注的是显存敏感点这一列。CNN 的显存基本随分辨率线性增长再乘 batchRNN 和 LSTM 随序列长度线性增长Transformer 的注意力计算是序列长度的平方这也是为什么长文本场景下大家都在卷各种高效注意力变体。理解了这一点后面调 batch size 的时候就不会盲目试。另外提醒一句2026 最新这个标签不必过度纠结。五大网络的数学骨架近几年几乎没有本质变化变化的是工程侧混合精度训练、FlashAttention、分布式并行、更好的初始化策略。学原理的时候用哪年的教程都行学工程的时候才需要追新。2. 适用场景与学习路径边界这五类网络的适用人群差异很大一锅端地从头看到尾效率其实不高。更稳妥的路径是按目标反推顺序。如果你的目标是做视觉方向CNN 是绝对的第一站。卷积的局部连接、权值共享、平移不变性这三个性质在图像上几乎是免费的先验。把 LeNet、ResNet 的基本 block 手写一遍理解感受野和通道数的关系比直接调 YOLO 有用得多。CNN 学扎实之后去理解 Vision Transformer 里的 patch embedding 会很快因为本质上就是把卷积的滑动窗口换成了切块加线性投影。如果你的目标是 NLP 或大模型方向顺序应该是 RNN → LSTM → Transformer但不要在 RNN 上停留太久。RNN 和 LSTM 的价值在于让你亲眼看到隐状态传递和门控缓解梯度消失这两件事理解pack_padded_sequence为什么存在理解为什么长序列上 LSTM 依然会退化。真正要花时间的是 Transformer自注意力的 QKV 计算、位置编码、残差与 LayerNorm 的摆放顺序、mask 的写法这些细节在实践里错一个就训不动。GAN 是个特殊存在。它不解决分类回归问题学的是数据分布。很多人学 GAN 会陷入生成效果不好就是代码错了的误区实际上 GAN 的训练本身就是不稳定的博弈过程判别器太强生成器梯度消失生成器太强判别器学不到东西。学 GAN 的正确姿势是先在小分辨率数据集比如 MNIST 或 32×32 的图上把训练流程跑稳观察 loss 的震荡形态再看别人怎么用 WGAN-GP、谱归一化、TTUR 这些技巧稳住训练。至于不适合的场景也要说清楚。这五类网络都是通用骨架不适合直接拿来当生产方案CNN 单模型做 OCR 早就被检测识别的流水线取代RNN/LSTM 在长文本上基本被 Transformer 取代原生 GAN 在高质量图像生成上已经被扩散模型抢走了大部分场景。学它们是为了理解原理和具备改造能力不是为了拿去跟 SOTA 比指标。合规方面也要提一句。GAN 这类生成模型如果用于人脸、声音、证件类数据必须确保素材有明确授权合成内容要可识别、可追溯不能用于伪造身份或误导性传播。课程里的示例数据集大多是公开学术数据集换成自己的数据前先确认授权范围。3. 本地训练环境准备与前置条件五大网络的最小实现其实对环境要求很低一套 Conda 环境加 PyTorch 就够。但为了少踩坑还是把前置条件列清楚。操作系统上 Windows、Linux、macOS 都能跑Windows 建议用 WSL2 或者直接原生装路径里别带中文和空格。Python 建议 3.10 或 3.11这两个版本对主流 PyTorch 轮子的兼容性最好。GPU 方面NVIDIA 显卡需要装对应 CUDA 版本的驱动PyTorch 官方轮子自带 CUDA 运行时不需要单独装完整 CUDA ToolkitApple Silicon 可以用 MPS 后端但部分算子在 MPS 上支持不完整遇到报错就回退 CPU。磁盘空间上一个 PyTorch 环境大概 3 到 6GMNIST、CIFAR-10 这类数据集很小但如果课程里涉及生成模型的预训练权重要预留十几 G。端口方面Jupyter 默认 8888TensorBoard 默认 6006这两个是最容易冲突的。下面是环境搭建命令以 CUDA 12.1 轮子为例实际版本按你的驱动调整# 创建并激活独立环境避免污染系统 Python conda create -n nn-course python3.10 -y conda activate nn-course # 安装 PyTorchCUDA 12.1 版本CPU 用户去掉 index-url 那行即可 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 # 常用辅助库 pip install numpy pandas matplotlib scikit-learn tqdm tensorboard jupyter装完之后一定要做一次环境自检别等到训练报错才回头查import torch print(torch:, torch.__version__) print(cuda available:, torch.cuda.is_available()) if torch.cuda.is_available(): print(device:, torch.cuda.get_device_name(0)) print(capability:, torch.cuda.get_device_capability(0)) # 显存总量单位 MB print(total mem:, torch.cuda.get_device_properties(0).total_memory // 1024**2) else: print(running on CPU, 建议先用小数据集验证流程)这段代码跑出来cuda available: True且能打印出显卡型号说明环境没问题。如果显示 False先确认驱动版本再看装的是不是 CPU 版轮子——很多人pip install torch装完发现是 CPU 版就是因为没指定 index-url。还有一点容易被忽略随机种子。五大网络的实验复现性都依赖种子设置尤其是 GAN种子不同结果差异会很大。建议在训练脚本开头统一固定import os import random import numpy as np import torch def set_seed(seed: int 42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) os.environ[PYTHONHASHSEED] str(seed) # 关闭 cudnn 自动调优换取可复现性 torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False set_seed(42)关掉 benchmark 会让训练慢一点但换来的可复现性在调试阶段非常值得。4. 五大算法最小实现与启动方式这一节是全文的核心。每个网络给一份能直接跑的最小骨架重点不是刷指标而是让你确认结构写对了、shape 通了、能反向传播。4.1 CNN 最小实现与感受野检查CNN 的关键是理解每个卷积层之后特征图尺寸怎么变。公式是out floor((in 2*padding - kernel_size) / stride) 1。写代码的时候养成打印 shape 的习惯比事后 debug 省事得多。import torch import torch.nn as nn class SmallCNN(nn.Module): def __init__(self, num_classes: int 10): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 32, kernel_size3, padding1), # 32x32 - 32x32 nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), # 32x32 - 16x16 nn.Conv2d(32, 64, kernel_size3, padding1), # 16x16 - 16x16 nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), # 16x16 - 8x8 ) # 用自适应池化代替 Flatten避免换分辨率就要改全连接层 self.classifier nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Flatten(), nn.Linear(64, num_classes), ) def forward(self, x): return self.classifier(self.features(x)) if __name__ __main__: model SmallCNN() dummy torch.randn(8, 3, 32, 32) print(output shape:, model(dummy).shape) # 期望 [8, 10]这里有个实用技巧值得单独说用AdaptiveAvgPool2d(1)替代直接 Flatten。很多人写完 CNN 换个输入尺寸就报mat1 and mat2 shapes cannot be multiplied就是因为全连接层的输入维度被写死了。自适应池化把任意 H×W 压成 1×1全连接层只跟通道数有关鲁棒性高很多。这也是现代分类网络的标准做法。验证结构是否正确看两点前向输出的 shape 是不是[batch, num_classes]以及 loss 能不能正常下降。可以先在一个 batch 上做过拟合测试——故意只用 8 张图训练 200 步如果 loss 降不到接近 0说明结构或优化器有问题。4.2 RNN 最小实现与梯度观察RNN 的代码很短坑却不少。最常见的是忘了batch_firstTrue导致输入被当成[T, B, D]处理shape 全乱。import torch import torch.nn as nn class SimpleRNNClassifier(nn.Module): def __init__(self, vocab_size: int, embed_dim: int 128, hidden_dim: int 128, num_classes: int 2): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.rnn nn.RNN(embed_dim, hidden_dim, batch_firstTrue) self.fc nn.Linear(hidden_dim, num_classes) def forward(self, x): # x: [B, T] 的 token id emb self.embedding(x) # [B, T, E] out, h self.rnn(emb) # out: [B, T, H], h: [1, B, H] return self.fc(h.squeeze(0)) # [B, num_classes] if __name__ __main__: model SimpleRNNClassifier(vocab_size5000) x torch.randint(1, 5000, (4, 30)) # 4 条样本长度 30 print(model(x).shape) # 期望 [4, 2]RNN 最典型的训练现象是梯度消失。序列一长反向传播时梯度连乘很快就衰减到接近 0前面时间步的信息学不到。验证方法很简单训练时把梯度范数打出来total_norm 0.0 for p in model.parameters(): if p.grad is not None: total_norm p.grad.data.norm(2).item() ** 2 print(grad norm:, total_norm ** 0.5)如果梯度范数随着训练迅速掉到 1e-6 量级基本可以确认是梯度消失这时候要么缩短序列长度要么换 LSTM/GRU要么用梯度裁剪配合更小的学习率。梯度裁剪本身防的是梯度爆炸写法是torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)放在backward()之后、step()之前。4.3 LSTM 最小实现与变长序列处理LSTM 相比 RNN 多了三个门参数量大约是 RNN 的 4 倍。代码上真正需要注意的不是门本身而是变长序列的处理——这是课程里最容易跳过的部分。import torch import torch.nn as nn class LSTMClassifier(nn.Module): def __init__(self, vocab_size: int, embed_dim: int 128, hidden_dim: int 256, num_classes: int 2, num_layers: int 2, dropout: float 0.3): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.lstm nn.LSTM( embed_dim, hidden_dim, num_layersnum_layers, batch_firstTrue, dropoutdropout, bidirectionalTrue, ) self.dropout nn.Dropout(dropout) # 双向所以是 hidden_dim * 2 self.fc nn.Linear(hidden_dim * 2, num_classes) def forward(self, x, lengths): emb self.embedding(x) # [B, T, E] packed nn.utils.rnn.pack_padded_sequence( emb, lengths.cpu(), batch_firstTrue, enforce_sortedFalse ) out, (h, c) self.lstm(packed) out, _ nn.utils.rnn.pad_packed_sequence(out, batch_firstTrue) # 用 mask 做平均池化避免 padding 位置参与计算 mask (x ! 0).unsqueeze(-1).float() pooled (out * mask).sum(1) / mask.sum(1).clamp(min1e-9) return self.fc(self.dropout(pooled))两个细节必须强调。第一pack_padded_sequence里的 lengths 要在 CPU 上传 GPU 张量会报错这是很多人卡住的地方。第二即使做了 pack最后池化时也要用 mask否则 pad 出来的 0 会被算进平均值把特征稀释掉。这两点做对变长文本分类的准确率通常能涨几个点。LSTM 训练时的另一个常见问题是收敛慢。学习率建议从 1e-3 起步配 Adam如果 loss 抖得厉害就降到 3e-4并加上CosineAnnealingLR做退火。4.4 GAN 最小实现与训练节奏GAN 的代码量不大但训练循环比前三个都复杂因为要交替优化两个网络。import torch import torch.nn as nn class Generator(nn.Module): def __init__(self, latent_dim: int 100, channels: int 1, feature: int 64): super().__init__() self.net nn.Sequential( nn.ConvTranspose2d(latent_dim, feature * 4, 4, 1, 0, biasFalse), nn.BatchNorm2d(feature * 4), nn.ReLU(True), nn.ConvTranspose2d(feature * 4, feature * 2, 4, 2, 1, biasFalse), nn.BatchNorm2d(feature * 2), nn.ReLU(True), nn.ConvTranspose2d(feature * 2, channels, 4, 2, 1, biasFalse), nn.Tanh(), # 输出范围 [-1, 1]对应输入归一化方式 ) def forward(self, z): return self.net(z.view(z.size(0), -1, 1, 1)) class Discriminator(nn.Module): def __init__(self, channels: int 1, feature: int 64): super().__init__() self.net nn.Sequential( nn.Conv2d(channels, feature, 4, 2, 1), nn.LeakyReLU(0.2, True), nn.Conv2d(feature, feature * 2, 4, 2, 1), nn.BatchNorm2d(feature * 2), nn.LeakyReLU(0.2, True), nn.Conv2d(feature * 2, 1, 4, 1, 0), nn.Sigmoid(), ) def forward(self, x): return self.net(x).view(-1)注意生成器最后一层用Tanh所以真实图像必须归一化到[-1, 1]用transforms.Normalize((0.5,), (0.5,))。这个配对关系错了生成结果会偏色或者整体发灰很多人以为是模型能力问题其实是数据预处理没对上。训练循环的关键是交替节奏和标签平滑import torch.nn.functional as F def train_step(g, d, real_imgs, opt_g, opt_d, latent_dim100, devicecuda): b real_imgs.size(0) real real_imgs.to(device) real_labels torch.full((b,), 0.9, devicedevice) # 标签平滑 fake_labels torch.zeros(b, devicedevice) # ---- 训练判别器 ---- opt_d.zero_grad() z torch.randn(b, latent_dim, devicedevice) fake g(z).detach() loss_d F.binary_cross_entropy(d(real), real_labels) \ F.binary_cross_entropy(d(fake), fake_labels) loss_d.backward() opt_d.step() # ---- 训练生成器 ---- opt_g.zero_grad() z torch.randn(b, latent_dim, devicedevice) fake g(z) loss_g F.binary_cross_entropy(d(fake), torch.ones(b, devicedevice)) loss_g.backward() opt_g.step() return loss_d.item(), loss_g.item()这里d(fake)在训练生成器时用的是d的参数所以生成器的梯度会传回判别器但不会更新它——只要在训练 G 之前opt_d.zero_grad()已经做过、且只调用opt_g.step()就不会误更新。这个细节想清楚GAN 的训练流程就明白大半了。判断 GAN 是否正常不要只看 loss 数值要看生成样本的多样性。如果所有生成的图都长得差不多说明模式崩溃了。缓解办法包括降低判别器学习率、给判别器加 dropout、用 WGAN-GP 的梯度惩罚、或者用 TTUR判别器和生成器不同学习率。4.5 Transformer 最小实现与 mask 写法Transformer 的代码最容易错在 mask 和位置编码上。下面这份实现做文本分类包含了 padding mask 的处理。import torch import torch.nn as nn class TinyTransformerClassifier(nn.Module): def __init__(self, vocab_size: int, max_len: int 512, d_model: int 256, nhead: int 8, num_layers: int 4, num_classes: int 2, dropout: float 0.1): super().__init__() self.embedding nn.Embedding(vocab_size, d_model, padding_idx0) self.pos_emb nn.Embedding(max_len, d_model) layer nn.TransformerEncoderLayer( d_modeld_model, nheadnhead, dim_feedforwardd_model * 4, dropoutdropout, batch_firstTrue, norm_firstTrue, # Pre-LN训练更稳 ) self.encoder nn.TransformerEncoder(layer, num_layersnum_layers) self.norm nn.LayerNorm(d_model) self.fc nn.Linear(d_model, num_classes) def forward(self, x): b, t x.shape pos torch.arange(t, devicex.device).unsqueeze(0).expand(b, t) h self.embedding(x) self.pos_emb(pos) pad_mask (x 0) # True 表示该位置要屏蔽 h self.encoder(h, src_key_padding_maskpad_mask) m (~pad_mask).unsqueeze(-1).float() pooled (h * m).sum(1) / m.sum(1).clamp(min1e-9) return self.fc(self.norm(pooled))三个要点。第一src_key_padding_mask的语义是 True 表示屏蔽跟很多人直觉相反写反了模型会去关注 padding 反而忽略真实内容。第二norm_firstTrue就是 Pre-LN相比原始论文的 Post-LN深层模型训练稳定性明显更好现在基本是默认选择。第三位置编码用可学习的nn.Embedding最简单但推理时序列不能超过max_len超过会索引越界所以这个参数要按实际语料长度设。Transformer 对学习率非常敏感。建议配 warmupoptimizer torch.optim.AdamW(model.parameters(), lr1e-4, weight_decay0.01) warmup_steps 500 scheduler torch.optim.lr_scheduler.LambdaLR( optimizer, lr_lambdalambda step: min((step 1) / warmup_steps, 0.5 * (1 (1 - min(step / 20000, 1))) ), )实际项目里更常用的是transformers库的get_linear_schedule_with_warmup上面这段只是示意步进逻辑正式训练建议换成库函数避免自己写错。5. 训练流程与效果验证方法五个网络写完接下来要做的是确认它真的在学而不是看 loss 数字变小就放心。完整的验证流程包含四层。第一层是单 batch 过拟合。取 8 到 16 条样本反复训练几百步让模型把这几条完全记住。分类任务的 loss 应该降到接近 0准确率到 100%。如果做不到说明网络结构或者数据管道有问题先别扩大数据量。这一步是我见过最有效的排错手段能挡掉一大半训不动的问题。第二层是训练集与验证集曲线。两条曲线一起看训练 loss 持续下降但验证 loss 抬头是过拟合加 dropout、weight decay、数据增强两条都降不下去是欠拟合或者学习率不合适验证 loss 剧烈震荡通常是 batch size 太小或者学习率太大。用 TensorBoard 记录是最省事的方式from torch.utils.tensorboard import SummaryWriter writer SummaryWriter(runs/exp1) for epoch in range(epochs): train_loss train_one_epoch(model, train_loader, optimizer) val_loss, val_acc evaluate(model, val_loader) writer.add_scalar(loss/train, train_loss, epoch) writer.add_scalar(loss/val, val_loss, epoch) writer.add_scalar(acc/val, val_acc, epoch) writer.add_scalar(lr, optimizer.param_groups[0][lr], epoch) writer.close()启动方式是tensorboard --logdir runs --port 6006浏览器打开对应地址就能看。端口被占的话换一个比如--port 6007。第三层是具体任务的评估指标。分类看准确率、F1序列标注看 token 级 F1生成任务看 FID图像或 BLEU/ROUGE文本GAN 还要额外看生成样本的多样性。指标选择和任务强相关不能一律用准确率糊过去。第四层是稳定性验证。换三个随机种子各跑一次看指标波动范围。如果同一个配置下准确率在 70% 到 85% 之间跳说明训练过程不稳定需要固定种子、检查数据 shuffle、确认 BN 在 eval 模式下用了 running stats。6. 接口封装与批量推理任务课程里学的是训练实际用的时候大多是推理。把模型包成可调用的服务或者批量脚本是这套知识真正落地的环节。下面给一个通用的批量推理骨架注意这只是模板接口路径和参数要按你的实际项目调整。import argparse import json from pathlib import Path import torch from torch.utils.data import DataLoader def build_model(ckpt_path: str, device: str cuda): model TinyTransformerClassifier(vocab_size30000, num_classes2) state torch.load(ckpt_path, map_locationdevice) model.load_state_dict(state) model.to(device).eval() return model torch.no_grad() def batch_infer(model, dataloader, device: str cuda, max_batches: int -1): results [] for i, batch in enumerate(dataloader): if max_batches 0 and i max_batches: break input_ids batch[input_ids].to(device) logits model(input_ids) probs torch.softmax(logits, dim-1)[:, 1] for uid, p in zip(batch[uid], probs.tolist()): results.append({uid: uid, score: round(p, 6)}) return results if __name__ __main__: parser argparse.ArgumentParser() parser.add_argument(--ckpt, requiredTrue) parser.add_argument(--input_dir, default./inputs) parser.add_argument(--output, default./outputs/result.jsonl) parser.add_argument(--batch_size, typeint, default32) args parser.parse_args() device cuda if torch.cuda.is_available() else cpu model build_model(args.ckpt, device) # 这里的 Dataset 需要按实际数据格式实现 # loader DataLoader(MyDataset(args.input_dir), batch_sizeargs.batch_size) # out batch_infer(model, loader, device) Path(args.output).parent.mkdir(parentsTrue, exist_okTrue) print(f模型加载完成设备 {device}输出将写入 {args.output})批量任务有几个工程要点必须注意。第一输入目录和输出目录分开结果写成 jsonl 逐行追加中途崩了不用重跑全部。第二加上失败重试和断点续跑记录已处理过的 uid。第三批量大小不要一味求大显存不够会直接 OOM先用 batch_size1 跑通再逐步加。第四输出要带置信度分数低置信度的样本单独筛出来人工复核。如果要包成 HTTP 服务用 FastAPI 起一个最小接口from fastapi import FastAPI from pydantic import BaseModel import torch app FastAPI() device cuda if torch.cuda.is_available() else cpu model None # 实际项目里在 startup 事件中加载 class InferRequest(BaseModel): input_ids: list[int] app.post(/predict) def predict(req: InferRequest): with torch.no_grad(): x torch.tensor([req.input_ids], devicedevice) logits model(x) prob torch.softmax(logits, dim-1)[0, 1].item() return {score: prob} # 启动uvicorn app:app --host 127.0.0.1 --port 8000服务默认只监听 127.0.0.1不要图省事绑 0.0.0.0 暴露到公网。涉及用户数据的推理服务要做好访问控制和日志脱敏。7. 资源占用与性能观察显存和速度是学这套东西绕不开的现实问题。先说观测方法再说优化手段。观测显存用 PyTorch 自带接口分清楚 allocated 和 reserved 的区别import torch def report_mem(tag: str ): if not torch.cuda.is_available(): return alloc torch.cuda.memory_allocated() / 1024**2 reserved torch.cuda.memory_reserved() / 1024**2 peak torch.cuda.max_memory_allocated() / 1024**2 print(f[{tag}] allocated{alloc:.1f}MB reserved{reserved:.1f}MB peak{peak:.1f}MB) torch.cuda.reset_peak_memory_stats() # ... 前向 反向 ... report_mem(after step) torch.cuda.empty_cache() # 只在确实需要时调用频繁调用反而拖慢allocated是张量实际占用reserved是 PyTorch 缓存池占用的后者通常更大但可以被复用。看峰值用max_memory_allocated这个数值最接近真实需求。参数量统计也很实用能帮你判断模型规模和显存是否匹配def count_params(model): total sum(p.numel() for p in model.parameters()) trainable sum(p.numel() for p in model.parameters() if p.requires_grad) print(ftotal{total/1e6:.2f}M trainable{trainable/1e6:.2f}M) return total, trainable影响显存和速度的因素按影响从大到小排batch size、序列长度或图像分辨率、模型层数和隐藏维度、是否混合精度、是否开启梯度检查点。前两个是线性甚至平方级影响调它们最立竿见影。降低显存的手段按实施成本排序减小 batch size 并配合梯度累积、开启 AMP 混合精度、使用梯度检查点、缩短序列长度、减小 d_model 或通道数。梯度累积的写法很简单accum_steps 4 optimizer.zero_grad() for step, batch in enumerate(loader): loss model(batch) / accum_steps loss.backward() if (step 1) % accum_steps 0: torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() optimizer.zero_grad()混合精度用torch.cuda.amp注意 loss scaling 由框架自动处理但某些自定义算子比如部分 GAN 的梯度惩罚在 fp16 下会溢出需要局部强制 fp32。CPU 和 GPU 的差异也要有预期。同样的 CNN 在 CPU 上训练 MNIST一个 epoch 可能要几分钟GPU 上几秒就跑完。RNN 类模型因为时序依赖强GPU 利用率天生不高别指望它能像 CNN 那样跑满。Transformer 在短序列小模型上GPU 优势不明显序列一长并行优势才体现出来。还有一个常见现象是进程残留。Jupyter 里反复跑训练 cell旧进程的显存没释放最后 OOM。解决方式是重启 kernel或者用nvidia-smi看一下哪个进程占着显存kill -9掉。8. 常见问题与排查方法下面这张表覆盖了五大网络训练时最高频的问题遇到报错可以先在这里对一遍。问题现象可能原因排查方式解决方案导入 torch 报 DLL 错误CUDA 版本与驱动不匹配看驱动版本和 torch 版本换对应轮子或先用 CPU 版CUDA out of memorybatch size 过大或显存未释放打印 peak 显存查残留进程降 batch、加梯度累积、重启 kernelCNN 报 shape 不匹配全连接层维度写死打印每层输出 shape改用AdaptiveAvgPool2dRNN 输出维度错乱忘了batch_firstTrue检查输入是否[B,T,D]显式设置并统一数据管道LSTM pack 报错lengths 在 GPU 上打印 lengths 的 device传lengths.cpu()loss 变成 NaN学习率过大或除零逐步降 lr检查分母加clamp(min1e-9)、梯度裁剪loss 完全不降标签错位或数据未归一化单 batch 过拟合测试检查 label 与输入是否对齐验证集准确率远低于训练集过拟合对比两条 loss 曲线加 dropout、weight decay、数据增强GAN 生成全是噪点判别器过强生成器梯度消失看 D 的 loss 是否趋近 0降 D 学习率、加标签平滑GAN 生成样本高度相似模式崩溃采样多张对比多样性用 WGAN-GP、TTUR、谱归一化Transformer 训练不收敛学习率过大或缺 warmup看前几百步 loss 是否爆炸加 warmup、降 lr、用 Pre-LNTransformer 输出恒定mask 写反或位置编码缺失打印 attention 权重确认 padding mask 语义为 True 屏蔽训练速度异常慢数据加载成瓶颈看 GPU 利用率加num_workers、pin_memoryTrue结果每次都不一样未固定种子或 cudnn 非确定检查种子设置固定种子并关闭 benchmarkTensorBoard 打不开端口被占用lsof -i:6006换端口重启补充几个表里放不下的排查经验。数据管道问题占了实际 bug 的一大半尤其是自定义 Dataset 的时候__getitem__返回的 tensor 维度顺序错、label 类型不是 long、collate 函数处理变长序列有误这些都不会报错只会让模型学得很差。建议每次写完 Dataset 先手动取 5 条样本打印出来看确认形状、类型、数值范围都对。另一个高频坑是model.train()和model.eval()忘了切换。BN 和 Dropout 在两种模式下行为完全不同评估时忘了切 eval指标会莫名其妙偏低而且每次评估结果都不一样。9. 最佳实践与后续学习建议把这五个网络学完最容易犯的错是每个都学过每个都不精。更有效的做法是选一个主线做深其他作为对照理解。具体建议是这样。第一每个网络至少手写一遍不抄代码。抄一遍能跑通但不理解 shape 为什么这么变换个任务就崩。手写的时候故意改改参数看看报什么错比一次跑通收获大。第二每个网络配一个最小可复现实验固定种子、固定数据、固定超参记录下指标后面改结构时用它做对照基线。第三把训练日志和配置文件一起存档用argparse或者 yaml 管理超参别把参数散落在代码里。工程习惯上有几点值得早点建立。目录结构按data/、models/、runs/、scripts/分开模型文件不要跟代码混在一起每个实验用时间戳或者配置 hash 命名输出目录训练脚本支持断点续训保存 optimizer 状态而不只是模型权重推理脚本和训练脚本分离别在一个文件里塞两套逻辑。关于学习顺序如果时间有限我的建议是 CNN 和 Transformer 各花四成精力RNN/LSTM 花一成半GAN 花半成。理由很直接CNN 的归纳偏置在视觉和信号处理里长期有效Transformer 是当前所有大模型的底座这两个的投入产出比最高。RNN 和 LSTM 主要用来理解序列建模的演进逻辑知道它们解决了什么、又被什么取代就够了。GAN 的训练哲学很值得体会但工程上直接用的场景确实在收缩理解思想即可。后续可以继续深挖的方向按难度递增CNN 这边去看 ResNet 的残差连接、EfficientNet 的复合缩放、以及卷积和注意力的融合结构序列这边去读 Attention Is All You Need 原文然后上手transformers库用预训练模型做微调生成这边去看扩散模型的基本原理理解它为什么比 GAN 稳定。这五个骨架打牢之后再看这些上层内容会顺很多。最后一个提醒跑通代码只是起点能解释清楚为什么这样设计才是学到了。每写完一个网络试着回答三个问题——这个结构解决了前一个结构的什么问题、它的计算复杂度是多少、什么情况下它会失效。能答上来这 100 集就没白看。
