简介这份资源是《Deep Learning with PyTorch》的官方样章PDF面向希望入门PyTorch框架、掌握深度学习项目实践的开发者与学习者尤其适合具备一定Python基础、想通过动手示例理解模型训练全流程的读者。压缩包内仅含1个PDF文件大小约399KB内容为英文原版样章便于快速浏览书籍结构与写作风格。样章围绕深度学习模型训练的核心环节展开涵盖训练循环的构建、训练过程中统计数据的收集、使用tqdm报告训练进度以及数据预处理对模型性能的提升同时包含一个回归模型实战项目从数据集描述、模型搭建与训练到预处理优化逐步推进并介绍了DataLoader与Dataset在训练循环中的用法。目前已有137人学习下载。通过这份样章读者可以提前了解全书的教学脉络与项目驱动风格判断是否契合自身学习路径为后续系统学习PyTorch打下基础。1. 一份只有 32 页的 PyTorch 样章为什么值得先啃透如果你手里拿到的是一份deep-learning-with-pytorch-sample.pdf第一反应大概率是失望——32 页目录里却列着训练循环、回归项目、DataLoader、Dataset 这些硬货正文却只给了几个片段。但换个角度看这份样章其实是一张被压缩过的路线图它把一本 PyTorch 实战书里最容易被跳过的三个环节——训练循环怎么写、回归项目怎么落地、DataLoader 怎么接进训练流程——单独拎了出来。对刚上手 PyTorch 的人来说这三块恰恰是从“能跑通 demo”到“能写自己的训练脚本”之间最容易翻车的地方。样章的价值不在于它给了多少完整代码而在于它暴露了作者组织知识的方式先讲训练循环的统计收集和进度报告再用一个回归项目串起数据描述、建模、预处理最后用 DataLoader 和 Dataset 把数据管道讲清楚。如果你正在找一份能照着复现的 PyTorch 入门骨架这份样章里的章节结构比很多完整教程都更接近真实项目节奏。2. 训练循环拆解从统计收集到 tqdm 进度条2.1 训练循环里到底该收集哪些统计量样章第 8 章标题是“Creating a Training Loop for Your Models”下面列了三个子项训练元素、收集统计、用 tqdm 报告进度。这个顺序本身就是一种工程习惯——先把训练循环的骨架搭出来再往里塞监控最后才考虑输出好不好看。很多新手写训练循环时习惯先把print写满结果 loss 和 accuracy 混在一起跑几十个 epoch 后根本分不清哪行是哪行。样章把“收集统计”单独拎出来讲说明作者认为统计量的组织是训练循环设计的一部分而不是事后补的日志。一个能用的训练循环至少要在每个 epoch 结束时拿到四个量训练 loss、训练准确率或回归任务里的 MAE/RMSE、验证 loss、验证准确率。这四个量决定了你后面能不能画学习曲线、能不能判断过拟合。样章里提到的“Collecting Statistics During Training”大概率就是在讲怎么把这些量从 batch 级别累积到 epoch 级别。常见做法是每个 batch 算一次 loss累加后除以 batch 数量准确率则用correct / total的方式在 epoch 内累计。下面是一个可以直接抄的骨架import torch import torch.nn as nn from torch.utils.data import DataLoader, TensorDataset # 假设已有 model、train_loader、val_loader、criterion、optimizer def train_one_epoch(model, loader, criterion, optimizer, device): model.train() running_loss 0.0 correct 0 total 0 for inputs, targets in loader: inputs, targets inputs.to(device), targets.to(device) optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, targets) loss.backward() optimizer.step() running_loss loss.item() * inputs.size(0) # 分类任务才需要算准确率回归任务换成 MAE 累计 _, predicted torch.max(outputs, 1) correct (predicted targets).sum().item() total targets.size(0) epoch_loss running_loss / total epoch_acc correct / total return epoch_loss, epoch_acc这段代码里有两个参数容易设错。loss.item() * inputs.size(0)是为了按样本数加权如果你直接累加loss.item()最后除以 batch 数量得到的 loss 会被最后一个不完整的 batch 拉偏。total用targets.size(0)而不是len(loader.dataset)是为了在drop_lastTrue时也能算对。验证循环的写法几乎一样只是把model.train()换成model.eval()并且用torch.no_grad()包住前向传播。样章把训练和验证分开讲说明作者默认读者会写两个函数而不是在一个循环里用if切换。2.2 tqdm 进度条的正确接法样章专门用一节讲 tqdm这个细节很实在。训练循环跑起来之后最难受的就是盯着黑屏等 epoch 结束。tqdm 能让你看到每个 batch 的进度、当前 loss、预计剩余时间。但很多人第一次接 tqdm 时会把它包在for循环外面结果进度条只更新 epoch不更新 batch。正确做法是把loader包进tqdmfrom tqdm import tqdm def train_with_progress(model, loader, criterion, optimizer, device, epoch): model.train() running_loss 0.0 correct 0 total 0 # 把 loader 包进 tqdmdesc 里带上 epoch 编号 pbar tqdm(loader, descfEpoch {epoch}, leaveFalse) for inputs, targets in pbar: inputs, targets inputs.to(device), targets.to(device) optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, targets) loss.backward() optimizer.step() running_loss loss.item() * inputs.size(0) _, predicted torch.max(outputs, 1) correct (predicted targets).sum().item() total targets.size(0) # 实时更新进度条右侧的 loss 显示 pbar.set_postfix(lossf{loss.item():.4f}) return running_loss / total, correct / totalleaveFalse让每个 epoch 的进度条跑完后自动消失避免终端被几十行进度条刷屏。set_postfix里的loss是当前 batch 的 loss不是 epoch 平均 loss但足够让你判断训练有没有发散。如果你在 Jupyter 里跑tqdm 会自动适配 notebook 输出如果在服务器上跑建议加mininterval1.0减少刷新频率不然日志文件会被进度条撑爆。样章把 tqdm 放在训练循环章节里讲而不是单独开一章讲“可视化”说明作者认为进度条是训练循环的标配不是可选装饰。3. 回归项目实战从数据描述到预处理提分3.1 回归项目的数据集描述与建模顺序样章第 12 章是一个完整的回归项目结构是数据集描述 → 构建模型并训练 → 用预处理改进模型。这个顺序很关键。很多教程一上来就讲“怎么做特征工程”但如果你连原始数据上的 baseline 都没跑出来根本不知道预处理到底有没有用。样章先让你用原始数据训一个模型拿到一个 baseline 分数然后再加预处理对比提升。这种“先跑通再优化”的节奏比一上来就堆技巧更接近真实项目。回归任务和分类任务在 PyTorch 里的写法差异不大主要区别在输出层和损失函数。分类任务输出层用nn.Linear(hidden, num_classes)损失用nn.CrossEntropyLoss()回归任务输出层用nn.Linear(hidden, 1)损失用nn.MSELoss()或nn.L1Loss()。下面是一个回归模型的骨架import torch.nn as nn class RegressionNet(nn.Module): def __init__(self, input_dim): super().__init__() self.net nn.Sequential( nn.Linear(input_dim, 64), nn.ReLU(), nn.Linear(64, 32), nn.ReLU(), nn.Linear(32, 1) # 回归任务输出 1 维 ) def forward(self, x): return self.net(x) # 损失函数用 MSELoss优化器用 Adam model RegressionNet(input_dimX_train.shape[1]) criterion nn.MSELoss() optimizer torch.optim.Adam(model.parameters(), lr1e-3)这里input_dim必须和特征数量对齐常见翻车点是X_train是 numpy 数组时忘了转成float32的 tensor。PyTorch 默认 float32如果你从 pandas 直接转很可能是 float64训练时会报expected scalar type Float but found Double。解决办法是在TensorDataset之前统一.astype(float32)。样章在“数据集描述”里大概率会提一句特征类型但样章篇幅有限这个坑得自己补上。3.2 预处理到底改了什么标准化与缺失值样章把“Improving the Model with Preprocessing”单独列一节说明预处理在这个回归项目里确实带来了可观测的提升。回归任务里最常见的预处理是标准化减均值除标准差和缺失值填充。标准化之所以有效是因为如果某个特征的量纲是几千另一个是零点几梯度下降时不同维度的更新步长差异会很大模型收敛慢甚至震荡。用sklearn的StandardScaler是最省事的做法from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split import numpy as np # 假设 X 是原始特征y 是目标值 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) # 只在训练集上 fit X_test_scaled scaler.transform(X_test) # 测试集用同样的 scaler # 转成 float32 的 tensor X_train_tensor torch.tensor(X_train_scaled, dtypetorch.float32) y_train_tensor torch.tensor(y_train.values, dtypetorch.float32).view(-1, 1)注意fit_transform只在训练集上调用测试集必须用transform。如果你把fit_transform用在测试集上等于让模型提前看到了测试集的分布评估分数会虚高。这个坑在样章里不一定展开讲但它是预处理环节最容易被忽略的边界。缺失值填充同理均值或中位数只能从训练集算然后应用到测试集。样章把预处理放在建模之后讲暗示读者应该先拿到 baseline再决定要不要填充缺失值、要不要标准化而不是无脑全套预处理。4. DataLoader 与 Dataset把数据管道接进训练循环4.1 DataLoader 的 batch_size、shuffle 与 num_workers样章第 18 章专门讲 DataLoader 和 Dataset标题是“Training a PyTorch Model with DataLoader and Dataset”。这说明作者认为数据管道是训练循环之外最需要单独讲的一块。DataLoader 的核心参数就三个batch_size、shuffle、num_workers。batch_size决定每次前向传播的样本数太小会导致梯度噪声大太大会爆显存shuffleTrue在训练集上必须开验证集和测试集上必须关否则评估结果没有可比性num_workers在 Windows 上经常出问题建议先设 0 跑通再逐步加到 2 或 4。from torch.utils.data import DataLoader, TensorDataset # 假设 X_train_tensor、y_train_tensor 已经准备好 train_dataset TensorDataset(X_train_tensor, y_train_tensor) train_loader DataLoader( train_dataset, batch_size32, shuffleTrue, # 训练集打乱 num_workers0, # Windows 上先设 0 pin_memoryFalse # 有 GPU 时可以设 True ) # 验证集不打乱 val_dataset TensorDataset(X_test_tensor, y_test_tensor) val_loader DataLoader(val_dataset, batch_size32, shuffleFalse, num_workers0)pin_memoryTrue在有 GPU 时能加速 CPU 到 GPU 的数据传输但如果你用的是 CPU 训练设了反而占内存。num_workers大于 0 时每个 worker 会复制一份数据集如果数据集很大内存会成倍增长。样章在讲 DataLoader 时大概率会提这些参数但样章篇幅有限具体数值得根据你的机器和数据集大小调。4.2 自定义 Dataset 类的三个必须实现的方法TensorDataset适合数据已经全部在内存里的场景。如果数据是图片路径、文本文件或者需要在线增强就得自己写Dataset类。自定义Dataset必须实现三个方法__init__、__len__、__getitem__。__init__里做路径列表或元数据的初始化__len__返回样本总数__getitem__根据索引返回一个样本的特征和标签。下面是一个从 CSV 读数据的例子from torch.utils.data import Dataset import pandas as pd class CSVDataset(Dataset): def __init__(self, csv_path, feature_cols, target_col): self.df pd.read_csv(csv_path) self.features self.df[feature_cols].values.astype(float32) self.targets self.df[target_col].values.astype(float32) def __len__(self): return len(self.df) def __getitem__(self, idx): # 返回单个样本DataLoader 会自动拼成 batch return self.features[idx], self.targets[idx]__getitem__里不要做太重的计算比如读大文件或跑数据增强否则num_workers 0时每个 worker 都会重复这些开销。如果必须做增强尽量用轻量级的 numpy 操作或者把增强逻辑放到collate_fn里。样章把 Dataset 和 DataLoader 放在同一章讲说明作者认为这两者是一体的Dataset 负责“怎么取一个样本”DataLoader 负责“怎么把样本拼成 batch 并喂给模型”。分开理解可以但用的时候必须一起用。5. 避坑与排查样章里没写但一定会遇到的五个问题5.1 现象loss 变成 nan原因学习率太大或输入未标准化解决降 lr 并检查数据范围训练循环跑了几十个 batch 后 loss 突然变成nan这是最经典的翻车现场。常见原因有两个一是学习率设得太大比如1e-2用在深层网络上梯度更新一步就把权重推到发散区二是输入特征没有标准化某个特征的值域是[0, 10000]经过线性层后输出巨大softmax 或 MSE 直接溢出。解决办法是先打印一个 batch 的输入范围确认没有极端值然后把学习率降到1e-3或1e-4再加StandardScaler。如果已经变成nan可以在loss.backward()之后加torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)做梯度裁剪。5.2 现象验证集 loss 比训练集低原因Dropout 或 BatchNorm 在 eval 模式下的行为差异解决确认 model.eval() 已调用验证集 loss 低于训练集 loss听起来像好事但在深度学习里通常意味着训练集上的正则化太强或者验证集分布和训练集不一致。最常见的原因是忘了在验证循环里调用model.eval()。Dropout 在train()模式下会随机丢弃神经元eval()模式下会关闭BatchNorm 在train()模式下用 batch 统计量eval()模式下用 running mean/var。如果你在验证时没切eval()Dropout 仍然在随机丢弃验证 loss 会偏高但如果你在训练时没切回train()BatchNorm 用 running 统计量更新训练 loss 会偏高。所以每个 epoch 开始训练前model.train()开始验证前model.eval()这两句不能省。5.3 现象DataLoader 在 Windows 上报BrokenPipeError原因num_workers 0 与 Windows 多进程兼容性解决设 num_workers0 或把主逻辑包进if __name__ __main__Windows 上num_workers 0时PyTorch 用spawn而不是fork启动子进程如果主脚本没有if __name__ __main__:保护子进程会重新导入主模块导致无限递归或BrokenPipeError。解决办法有两个一是把num_workers设回 0牺牲一点数据加载速度换稳定二是把训练入口包进if __name__ __main__:并且确保Dataset类定义在模块顶层不要定义在函数内部。如果你在 Jupyter 里跑num_workers 0基本不可用直接设 0。5.4 现象tqdm 进度条在服务器日志里刷屏原因默认刷新频率太高解决设 mininterval 和 file 参数在本地终端跑 tqdm 很舒服但把训练脚本放到服务器上输出重定向到日志文件后tqdm 默认每 0.1 秒刷新一次日志文件会被回车符和进度条碎片撑到几百 MB。解决办法是给tqdm加mininterval5.0让它每 5 秒才刷新一次再加filesys.stdout确保输出到标准输出而不是 stderr。如果日志系统不支持回车符可以设disableTrue关掉进度条改用每 N 个 batch 打印一次 loss。5.5 现象回归任务用 CrossEntropyLoss 报错原因损失函数和任务类型不匹配解决回归用 MSELoss 或 L1Lossnn.CrossEntropyLoss期望输入是[batch, num_classes]的 logits目标值是[batch]的类别索引。如果你拿它做回归目标值是连续浮点数会直接报Target -1 is out of bounds或类型错误。回归任务的标配是nn.MSELoss()或nn.L1Loss()输出层维度设 1目标值 reshape 成[batch, 1]。如果你做的是二分类可以用nn.BCEWithLogitsLoss()输出层也是 1 维但目标值必须是 0 或 1 的浮点数。样章在回归项目里大概率会明确写MSELoss但如果你跳着看很容易把分类的损失函数抄过来。6. 把样章当骨架补全训练脚本的验证习惯样章只有 32 页但它给的章节顺序——训练循环、回归项目、DataLoader——其实是一个最小可用的 PyTorch 项目骨架。我自己的习惯是拿到任何一份样章或教程先不急着跑代码而是把它的目录抄下来然后问自己如果我要补全这份样章每个章节缺什么训练循环那章缺一个完整的train()和evaluate()函数回归项目那章缺预处理前后的分数对比表DataLoader 那章缺一个自定义 Dataset 的完整例子。补全的过程就是最好的练习。下面这张表是我补全样章时会填的验证清单你可以直接拿去用检查项验证方法常见错误输入 tensor 类型print(X.dtype)float64 导致训练报错模型输出维度print(outputs.shape)回归输出[batch]而不是[batch, 1]损失函数匹配回归用 MSELoss分类用 CrossEntropyLoss混用导致报错或收敛异常训练/验证模式训练前model.train()验证前model.eval()忘记切换导致指标失真梯度清零optimizer.zero_grad()在loss.backward()之前梯度累积导致更新错误数据打乱训练集shuffleTrue验证集shuffleFalse验证集打乱导致评估不可复现进度条刷新服务器上设mininterval5.0日志文件被进度条撑爆这份清单里的每一项我都在不同项目里至少踩过一次。最惨的一次是回归任务忘了把目标值 reshape 成[batch, 1]模型输出[batch]MSELoss 广播后算出来的 loss 看起来正常但梯度方向是错的训练了 200 个 epoch 后预测值全部偏向均值。从那以后我每次写完训练循环都会先拿一个 batch 跑一遍前向传播打印输入输出形状和 loss 值确认无误再开完整训练。希望这份样章的拆解能帮你少走一段弯路。本文还有配套的精品资源点击获取
