简介这份资源是《Deep Learning with PyTorch》的官方样章PDF面向希望入门PyTorch深度学习框架的开发者与学习者尤其适合具备一定Python基础、想通过动手项目理解模型训练全流程的读者。样章内容围绕深度学习模型训练的核心环节展开涵盖训练循环的构建、训练统计数据的收集、使用tqdm报告训练进度以及数据预处理对模型性能的提升作用并给出一个回归模型构建的完整示例项目涉及数据集描述、模型搭建与训练改进。资源包内仅含1个PDF文件大小约399KB属于轻量级样章文档便于快速浏览与试读。目前已有137人学习下载。通过这份样章读者可以初步掌握PyTorch训练模型的基本步骤与项目组织方式理解数据预处理和训练监控在实践中的价值为后续系统学习完整教程打下基础。1. 一份 PDF 样本为什么值得逐行拆开跑很多人拿到deep-learning-with-pytorch-sample.pdf这类样本文件第一反应是当电子书翻一遍看完觉得“懂了”真到写模型时还是卡在张量维度对不上。这份样本的价值不在阅读而在它通常按“数据加载 → 模型定义 → 训练循环 → 验证保存”这条主线给出一批可运行的最小片段正好是深度学习入门最容易翻车的那几段。它适合两类人一类是刚学完 PyTorch 基础语法、想找一条完整链路练手的开发者另一类是做图像处理 Demo 时总在训练脚本上报错、想回头把标准写法对齐的从业者。下面我不复述样本内容而是把它背后的技术点拆成能复现的步骤参数怎么设、坑在哪一次讲清。2. 从样本片段到可运行工程环境与数据管线怎么搭样本里的代码往往默认你已经装好环境、数据也摆好了直接贴进本地十有八九跑不起来。这一章先把运行底座和数据入口做扎实后面模型和训练才有意义。2.1 环境依赖与版本对齐PyTorch 的版本差异会直接影响 API 行为比如torchvision.transforms在新版本里推荐用v2旧写法虽然还能用但会告警。我一般先固定一个组合再动手避免边写边升级。# 创建独立环境避免和系统里的包互相污染 python -m venv dl_env source dl_env/bin/activate # Windows 用 dl_env\Scripts\activate # 安装 CPU 版先跑通逻辑确认无误再换 GPU 版 pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu # 验证安装打印版本和 CUDA 可用性 python -c import torch, torchvision; print(torch.__version__, torchvision.__version__, torch.cuda.is_available())逻辑说明先建虚拟环境是为了隔离依赖样本里如果用了某个特定版本的torchvision混装很容易出现ImportError。参数说明--index-url指向官方 CPU 轮子源跑通逻辑阶段不需要 GPU确认torch.cuda.is_available()返回True后再换 GPU 版重装。这一步别省我见过太多人卡在“代码没错但就是报错”最后发现是版本不匹配。2.2 数据集组织与 Dataset 类写法样本通常假设数据已经按类别分好文件夹。常见做法是用ImageFolder它要求目录结构是root/类别名/图片文件。如果你的数据是平铺的就得自己写Dataset。import os from PIL import Image from torch.utils.data import Dataset, DataLoader from torchvision import transforms class FlatImageDataset(Dataset): def __init__(self, img_dir, label_file, transformNone): # label_file 每行格式文件名,标签 self.img_dir img_dir self.transform transform self.samples [] with open(label_file, r, encodingutf-8) as f: for line in f: name, label line.strip().split(,) self.samples.append((name, int(label))) def __len__(self): return len(self.samples) def __getitem__(self, idx): name, label self.samples[idx] img Image.open(os.path.join(self.img_dir, name)).convert(RGB) if self.transform: img self.transform(img) return img, label # 训练集做增强验证集只做归一化这是基本纪律 train_tf transforms.Compose([ transforms.Resize((224, 224)), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) val_tf transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) train_ds FlatImageDataset(data/train, data/train_labels.txt, train_tf) train_loader DataLoader(train_ds, batch_size32, shuffleTrue, num_workers4)逻辑说明__getitem__里.convert(RGB)是必须的灰度图或带透明通道的 PNG 不转会在ToTensor后维度对不上。参数说明Resize((224, 224))对应后面用的预训练模型输入尺寸Normalize的均值方差是 ImageNet 统计值用预训练权重时保持一致num_workers在 Windows 上建议设 0 先调试Linux 上设 4 到 8。shuffleTrue只给训练集验证集千万别打乱否则你没法对齐预测和标签。2.3 数据加载的常见性能陷阱DataLoader的num_workers不是越大越好。设太大在内存小的机器上会触发进程被系统杀掉现象是训练跑几轮突然中断、没有任何 Python 报错。我一般从 2 开始试观察 CPU 占用和内存。另外pin_memoryTrue只在用 GPU 时有收益CPU 训练开了反而占内存。还有一个玄学问题自定义Dataset里如果用了全局变量或不可序列化对象多进程加载会静默失败解决办法是把逻辑都收进类内部。3. 模型定义与训练循环样本里最容易被跳过的细节样本为了篇幅通常把模型和训练压缩得很短但恰恰是这些短代码藏着维度、设备、梯度三类问题。这一章把模型搭建和训练循环拆开讲透。3.1 用预训练模型做迁移学习的标准写法从零搭网络在样本里常见但实际项目里更稳的是迁移学习。以 ResNet 为例替换最后一层全连接即可。import torch import torch.nn as nn from torchvision import models def build_model(num_classes10, freeze_backboneTrue): model models.resnet18(weightsmodels.ResNet18_Weights.DEFAULT) if freeze_backbone: # 冻结特征提取层只训练分类头小数据集上更稳 for param in model.parameters(): param.requires_grad False in_features model.fc.in_features model.fc nn.Linear(in_features, num_classes) return model device torch.device(cuda if torch.cuda.is_available() else cpu) model build_model(num_classes10).to(device) criterion nn.CrossEntropyLoss() # 只把需要梯度的参数交给优化器 optimizer torch.optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr1e-3)逻辑说明weightsmodels.ResNet18_Weights.DEFAULT是新版推荐写法旧写法pretrainedTrue会告警。冻结主干后只训练fc层能显著降低过拟合风险。参数说明num_classes必须和你的标签数一致设错会在 loss 计算时报维度错误lr1e-3是分类头常用学习率如果解冻主干微调要降到1e-4量级。filter那行是血泪经验不筛的话优化器会更新被冻结的参数虽然不报错但浪费显存。3.2 训练循环的骨架与设备对齐训练循环看着简单但张量和模型不在同一设备上是最常见的翻车点。def train_one_epoch(model, loader, criterion, optimizer, device): model.train() total_loss, correct, total 0.0, 0, 0 for imgs, labels in loader: imgs, labels imgs.to(device), labels.to(device) # 必须和模型同设备 optimizer.zero_grad() outputs model(imgs) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() * imgs.size(0) preds outputs.argmax(dim1) correct (preds labels).sum().item() total labels.size(0) return total_loss / total, correct / total def evaluate(model, loader, criterion, device): model.eval() # 切换 BN 和 Dropout 行为 total_loss, correct, total 0.0, 0, 0 with torch.no_grad(): # 验证不建计算图省显存 for imgs, labels in loader: imgs, labels imgs.to(device), labels.to(device) outputs model(imgs) loss criterion(outputs, labels) total_loss loss.item() * imgs.size(0) correct (outputs.argmax(dim1) labels).sum().item() total labels.size(0) return total_loss / total, correct / total逻辑说明model.train()和model.eval()必须成对出现前者影响 BatchNorm 和 Dropout。loss.item() * imgs.size(0)是按样本数加权直接累加loss.item()在最后一个不满 batch 时会算错平均。参数说明argmax(dim1)取类别维度最大值dim写错会得到错误形状。torch.no_grad()在验证阶段是后悔药忘了加显存会一路涨到 OOM。3.3 学习率调度与早停固定学习率在后期容易震荡样本里常省略调度器但实际训练建议加上。scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max20) best_acc, patience, counter 0.0, 5, 0 for epoch in range(30): tr_loss, tr_acc train_one_epoch(model, train_loader, criterion, optimizer, device) val_loss, val_acc evaluate(model, val_loader, criterion, device) scheduler.step() print(fepoch {epoch}: train_acc{tr_acc:.4f} val_acc{val_acc:.4f}) if val_acc best_acc: best_acc, counter val_acc, 0 torch.save(model.state_dict(), best.pth) # 只存最优权重 else: counter 1 if counter patience: print(early stop) break逻辑说明CosineAnnealingLR让学习率按余弦曲线下降T_max设成总 epoch 数。早停用验证集准确率判断连续patience轮不提升就停。参数说明torch.save存state_dict而不是整个模型加载时更灵活best.pth只保留最优避免存一堆中间权重占磁盘。4. 避坑与排查样本代码落地时的五类高频问题这一章是我在实际复现这类样本时踩过的坑按现象、原因、解决三段写照着排查能省不少时间。4.1 报错 “expected scalar type Float but found Double”现象前向传播时报类型不匹配。原因输入张量被某处转成了float64而模型权重是float32。常见于用numpy生成数据后忘了转类型。解决在ToTensor后确认 dtype或显式imgs imgs.float()。检查transforms里有没有自定义的Lambda引入了双精度。4.2 训练 loss 不降反升现象loss 在前几轮就飙到nan或持续上升。原因学习率过大或标签越界导致CrossEntropyLoss计算出错。解决先把lr降到1e-4试再检查标签最大值是否小于num_classes。如果用了自定义损失确认没有在 log 里传入 0 或负数。4.3 验证集准确率远高于训练集现象验证准确率比训练高十几个点。原因训练集做了强增强而验证集没有或者model.eval()漏写导致 Dropout 仍在随机丢弃。解决确认验证阶段调用了model.eval()并检查训练和验证的预处理是否只差增强部分。数据量小时这种差距也可能是划分泄漏检查两个集合有没有重叠文件。4.4 多进程加载卡死无报错现象训练启动后卡在第一个 batch 不动。原因num_workers 0时自定义Dataset里有不可序列化对象或 Windows 上没加if __name__ __main__保护。解决先把num_workers设为 0 确认逻辑能跑再逐步调大Windows 下把训练入口包进主函数保护。4.5 显存够却报 OOM现象显存监控显示还有余量但报 out of memory。原因验证阶段没加torch.no_grad()计算图一直累积或 batch 内图片尺寸不一致导致动态分配。解决验证循环加with torch.no_grad()确认Resize对所有图片生效别让原始尺寸混进 batch。5. 把样本跑成自己的东西验证与进阶技巧跑通样本只是起点真正有价值的是把它变成你能改、能验证、能迁移的模板。我一般会做三件事来确认自己真的掌握了而不是抄了一遍。第一件是替换数据集做一次端到端验证。把样本里的示例数据换成你自己的小数据集哪怕只有几百张图走完训练、验证、保存、加载推理全流程。加载推理这一步很多人会漏写法是# 加载保存的权重做单张推理验证整条链路闭环 model build_model(num_classes10, freeze_backboneFalse) model.load_state_dict(torch.load(best.pth, map_locationdevice)) model.to(device).eval() from PIL import Image img Image.open(test.jpg).convert(RGB) x val_tf(img).unsqueeze(0).to(device) # 加 batch 维度 with torch.no_grad(): prob torch.softmax(model(x), dim1) print(prob.argmax().item(), prob.max().item())逻辑说明unsqueeze(0)是给单张图补上 batch 维度模型永远按 batch 输入。map_locationdevice保证在 CPU 机器上也能加载 GPU 存的权重。参数说明val_tf必须和验证阶段完全一致用训练增强会引入随机性导致结果不可复现。第二件是记录一组基线指标。至少记下验证准确率、单 epoch 耗时、峰值显存三个数。之后你改任何东西——换模型、调学习率、加数据增强——都拿这三个数对比才知道改动是正收益还是玄学。我见过太多人凭感觉调参最后说不清哪个改动起了作用。第三件是给训练脚本加日志和断点续训。样本通常不写这些但实际跑长任务时是刚需。用torch.save同时存epoch、optimizer.state_dict()和scheduler.state_dict()中断后能接着跑不用从头再来。这个习惯帮我省过好几次因为机器重启白跑一整晚的时间。最后一个技巧是关于可复现性在脚本开头固定随机种子torch.manual_seed(42)、random.seed(42)、numpy.random.seed(42)三件套一起设DataLoader的generator也传进去。不设种子的话两次运行结果对不上你根本分不清是改动生效还是随机波动。这个坑我踩过不止一次现在写任何训练脚本第一行就是设种子。希望帮到你。本文还有配套的精品资源点击获取
