简介这是一份机器学习课程期末大作业级别的完整项目资源基于3D卷积神经网络实现医学图像分类适合需要完成课程设计或期末大作业的本科生与研究生参考。资源包含整套可运行的源代码与配套文档说明代码附有详细注释新手也能快速理解关键流程压缩包共48个文件涵盖Python源码py、测试脚本、模型文件h5、数据记录csv、参数文件pickle及说明文档md/txt等整体约11.48MB。目录按mylib、dataloader、models及训练测试脚本划分结构清晰便于按需修改和快速部署。目前已有440人学习下载。项目覆盖数据加载、模型构建、训练与测试完整环节并提供了最终预测结果与多折平均结果可直接用于课程答辩或作为深度学习入门实践参考具有很高的实用价值。1. 基于3D卷积神经网络的医学图像分类一份能直接跑通的高分课程作业机器学习课程大作业里医学图像分类一直是最容易翻车的选题之一。CT、MRI这些影像本质是三维体数据用普通2D卷积网络处理等于把一摞切片当成独立图片去学层与层之间的空间关系全丢了。 这套基于3D卷积神经网络的医学图像分类源代码把数据读取、模型训练、结果导出整条链路都搭好了还带文档说明和注释下载解压后补上数据路径就能跑。 适合三类人被期末大作业卡住、想参考完整代码结构的人想搞懂3D CNN在医学图像上怎么落地的新手以及想拿高分、需要一份功能完整且能讲清楚原理的课程设计的同学。 我拆完这份资源后把数据链路、模型结构、训练参数和几处容易踩的坑一并整理在下面照着复现即可。2. 3D卷积不是2D加个维度模型结构怎么选、参数量怎么看2.1 为什么医学图像分类绕不开3D卷积医学影像设备和自然图像最大的区别在于数据的维度。CT扫描输出的是几十到几百张连续断层切片MRI则直接是三维体素矩阵。 一张切片只代表一个断面的解剖结构病灶跨层生长时它的体积信息、边缘连续性、与周围组织的关系都必须跨层观察。 2D CNN把每一层切片单独送进网络等于把三维信息强行压成了平面集合模型根本看不到病灶在z轴上的延续性。 3D卷积的卷积核是三维的比如3×3×3它在输入体数据上同时沿x、y、z三个方向滑动每一层卷积输出的特征图也保留三个维度。 这样一来网络天然建模了层与层之间的空间上下文分类依据就从某个切片长什么样升级为整个三维结构长什么样这正是医学图像分类任务的核心诉求。2.2 这套代码的模型结构拆解在models目录下可以看到3D CNN的完整定义。以常见的骨架为例输入是形状为(1, D, H, W)的体数据D是深度即切片数H和W是横断面尺寸。 第一层用8个3×3×3卷积核步长1padding保持尺寸不变输出(8, D, H, W)接BatchNorm3d和ReLU后做一次3D最大池化通常用步长2把空间尺寸减半。 第二层卷积核数量翻倍到16第三层到32中间同样穿插BN、ReLU、MaxPool3d。 三层卷积之后接全局平均池化把特征图压成一维向量最后接全连接层输出类别得分。 这套结构是典型的浅而宽设计没有堆到十几层深。 我一般不建议在课程作业里盲目上ResNet3D、DenseNet3D这类大模型——医学图像数据集往往只有几百到几千个样本深层3D网络参数量动辄上千万极其容易过拟合训练时间也很不划算。2.3 参数量与显存先算清楚再动手3D卷积的参数量计算方式是输入通道数 × 输出通道数 × 卷积核深度 × 卷积核高度 × 卷积核宽度再加输出通道数的偏置。 第一层输入通道为1、输出8、核尺寸3×3×3时参数量是1×8×3×3×38224非常小。 第二层8进16出就是8×16×3×3×3163472。 整个模型加起来不到十万参数量计算量也完全可以接受。 但要注意医学体数据本身很占显存。一份64×64×64的单通道体数据即使不padding也要占约262KB显存批大小设为16时仅输入就占4MB以上。 再加上中间层的特征图显存消耗会成倍增长。 我在训练这类模型时batch_size一般从4开始试如果GPU显存够再往上调。 课程设计场景下小模型加合理批大小训练速度能快一个数量级效果也完全够用。3. 读懂这套代码的数据链路HDF5与pickle文件的读取和划分3.1 HDF5数据格式与读取压缩包里有p4.h5、p3.h5这类文件test目录下也有对应的h5数据。 HDF5是医学图像和科学计算领域非常常见的容器格式单个文件可以同时存多个数据集还支持切片读取和压缩非常适合存三维体数据。 这套代码用h5py库来做读取。典型逻辑如下import h5py import numpy as np def load_h5(path): with h5py.File(path, r) as f: # 先打印所有key确认数据字段名 print(keys:, list(f.keys())) # 假设体数据存在key为data的字段下 volume f[data][:] # 假设标签存在key为label的字段下 label f[label][:] return volume.astype(np.float32), label这里有两个关键点 第一打开h5文件后必须先list(f.keys())看字段名不同数据集的命名习惯不一样有叫data的、叫image的、叫volume的直接下标访问很容易KeyError。 第二读出来的数据要显式转成float32默认可能是float64会让显存占用直接翻一倍。 这套代码里test_h5.py就是读取h5格式测试数据的入口运行前确认h5文件路径和字段名与脚本一致即可。3.2 pickle版本的数据另一种读取方式压缩包里还有p3.pickle、p4.pickle、p5.pickle这几个文件。 pickle是Python原生的序列化格式可以把任何对象整个存进文件加载速度比h5快但文件体积偏大。 在很多课程作业场景中作者会用pickle把预处理好的体数据和标签打包在一起方便复现。 读取方式如下import pickle def load_pickle(path): with open(path, rb) as f: data pickle.load(f) # 常见结构字典包含volume和label两个键 volume data[volume] label data[label] print(volume shape:, volume.shape) print(label shape:, label.shape) return volume, label用pickle要注意一个问题 如果pickle文件是在别的Python版本下生成的低版本Python可能无法直接加载报出unpickling error。 另外pickle加载出的数据结构取决于原作者保存时的定义务必先打印类型和shape确认是字典、元组还是自定义对象。 这套代码同时提供h5和pickle两套读取入口实际上也是给使用者多留了一条路——h5读取失败时马上切pickle验证数据本身是否完好。3.3 数据划分train_val和test的正确姿势data目录下有train_val和test两个子目录这是数据层面的硬隔离。 train_val用于训练和验证test数据只在最终评估时才碰。 这是课程作业里最容易犯错的地方很多同学把测试集拿来反复调参调完再换参数重新训练测试集的分数就失去了参考意义。 正确做法是先给train_val里的数据做分层划分例如按8:2切训练集和验证集。 切分时要分层采样保证每个类别的样本在训练集和验证集中占比大致一致。 一般我会写一个简单的划分脚本先把索引打乱再按类别比例分配而不是直接前80%做训练后20%做验证。 这步做完后续所有调参决策都只依据验证集test目录从头到尾不动最后跑一次出结果就行。4. 训练和测试从参数设置到结果文件生成4.1 dataloader与数据预处理参数dataloader目录下封装了数据加载逻辑核心是把h5或pickle读出来的原始数据转成PyTorch的Dataset和DataLoader。 这一层的关键参数有三个归一化方式、重采样尺寸和批大小。 医学图像CT值的范围一般是-1000到1000以上直接送进网络会让梯度不稳定通常会做个Min-Max归一化或者Z-Score标准化。 我在处理这类数据时习惯先统计训练集的均值和方差用训练集的统计量归一化测试集而不是每张图单独归一化。 dataloader里如果写了归一化参数注意区分它是按样本维度算的还是按整个数据集算的。 重采样尺寸同理原始体数据的分辨率可能不一致网络输入要求固定尺寸必须先统一缩放到比如64×64×64或128×128×128。 缩放方法建议用三线性插值直接用resize会把边缘信息拉坏。4.2 train.py训练流程与核心超参数train.py是整套代码的入口之一负责模型实例化、损失函数配置和训练循环。 核心流程可以概括为五步# 训练核心流程简化自train.py model Simple3DCNN(num_classes2).to(device) criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lr1e-3, weight_decay1e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_maxepochs) for epoch in range(epochs): model.train() for batch_x, batch_y in train_loader: batch_x, batch_y batch_x.to(device), batch_y.to(device) optimizer.zero_grad() output model(batch_x) loss criterion(output, batch_y) loss.backward() optimizer.step() scheduler.step()这段代码里有几个参数值得较真。 优化器选Adam而不是SGD是因为Adam对学习率的敏感度低课程作业里不需要花大量时间调学习率默认1e-3就能收敛。 weight_decay设为1e-4做L2正则配合小模型抑制过拟合。 CosineAnnealingLR让学习率沿着余弦曲线从初始值衰减到接近0相比固定学习率后期能更精细地逼近局部最优。 epochs这个值要看数据集量级几百个样本时50到100轮足够观察验证集准确率不再上升就停。 训练过程中每个epoch结束都要在验证集上算一次准确率保存验证集表现最好的模型权重而不是最后一个epoch的权重。4.3 测试流程与CSV结果生成test.py和test_h5.py负责在测试集上做推断并生成提交文件。 测试流程和训练最大的区别是关闭梯度、开启评估模式避免BatchNorm在推断时使用批统计量。def predict_test_set(model, test_loader, output_path): model.eval() predictions [] with torch.no_grad(): for batch_x in test_loader: batch_x batch_x.to(device) logits model(batch_x) pred torch.argmax(logits, dim1) predictions.extend(pred.cpu().tolist()) import csv with open(output_path, w, newline) as f: writer csv.writer(f) writer.writerow([id, label]) for idx, label in enumerate(predictions): writer.writerow([idx, label]) print(saved to, output_path)这段代码对应了压缩包里的sampleSubmission.csv和final_result.csv。 输出CSV的格式必须严格匹配任务要求列名、索引范围都不能错。 先打开sampleSubmission.csv看它的表头和行数再让测试脚本生成同样结构的文件。 我在实际跑代码时踩过一次坑有些数据集的测试文件不止一种模态需要把同一个样本的多个体数据分别预测然后投票而test.py里只做了第一层推断导致结果偏低。 遇到这种情况把同一样本的所有体数据都过一遍模型取平均概率作为最终输出准确率能明显回升。5. 常见问题与避坑环境报错、结果异常、显存不足5.1 显存溢出batch_size过大现象 训练刚开始loss还没算完就报CUDA out of memory提示torch.cuda.OutOfMemoryError。原因 三维体数据的中间层特征图尺寸大占用显存远超同尺寸的2D图像。batch_size设为16甚至8都可能把显存撑爆。解决 先把batch_size降到2或4确认能跑通后再逐步上调。 如果batch_size降到1仍然OOM就把输入体数据重采样尺寸从128×128×128降到64×64×64显存占用会降到原来的约八分之一。 另外检查代码里是否用float64存了数据全部改成float32后显存压力立刻减半。5.2 验证集准确率虚高数据泄漏现象 训练集准确率一直在0.7左右波动验证集第一轮就冲到0.95以上明显不合理。原因 这是典型的数据泄漏。train_val和test虽然目录分离但train_val内部划分训练和验证时没有先打乱或者归一化时用了全数据集的均值和方差验证集的信息提前渗入了训练过程。解决 划分前先对样本索引做随机打乱并固定随机种子保证可复现。 归一化参数只从训练集中统计验证集和测试集沿用训练集的统计量。 做完这两步后重新训练验证集准确率曲线会和训练集大致同步地上升。5.3 换机器后报错路径写死或h5字段对不上现象 在自己电脑上训练正常换到实验室服务器或另一台电脑上运行脚本立刻报FileNotFoundError或KeyError。原因 代码里用了绝对路径比如C:/user/.../p4.h5换机器后路径自然失效或者h5文件里字段名与脚本中硬编码的不一致。解决 把路径全部改成相对路径项目目录放同一个根文件夹下脚本里用Path(file).parent定位项目根目录再拼数据路径。 读h5之前先list(f.keys())打印字段名确认脚本里访问的key真实存在。 这套资源和大多数课程作业一样作者默认的路径结构是data/目录和scripts/目录平级保持原始目录结构就能省掉大部分路径问题。5.4 预测结果全是同一个类别现象 测试集没有报错但生成的CSV里所有样本的label完全相同准确率接近随机或恒为某类。原因 一种可能是模型在训练时就没有学到有效特征类别不平衡导致网络把所有样本都判成多数类。 另一种可能是测试阶段数据顺序和真实标签顺序错位比如os.listdir的排序方式与标注文件不一致导致预测和标签对不上。解决 先看训练集的类别分布如果比例失衡明显损失函数换成带权重的CrossEntropyLoss权重按类别样本数的倒数计算。 再看测试集的读取顺序按文件名排序后遍历并和sampleSubmission.csv的id列比对确保每个预测结果都落在正确的行上。6. 把准确率往上再提一档五折交叉验证与三个实战习惯这门大作业里最值钱的文件其实是5_avg.csv。 从文件名就能看出作者跑了五折交叉验证把五份模型的预测结果做了平均。 五折交叉验证的做法是把train_val数据按分层采样分成五份每次取其中四份训练、一份验证轮流五次最终得到一个平均验证分数。 相比单次划分它能把数据利用率提到最高还能让最终测试结果的方差明显降低在课程作业答辩时也更有说服力。涨价后没有正文继续写。让你用量更出色的三个习惯习惯一数据增强不要贪多。 医学图像分类场景下通用的翻转、旋转、平移都可用但强度要克制。 随机翻转概率设为0.5旋转角度控制在±10度以内超出范围的增强反而会破坏解剖结构的语义。 增强只应用在训练集验证和测试保持原始数据。习惯二早停机制务必加上。 每次epoch结束记录验证集准确率连续5到10个epoch没有刷新纪录就加载历史最优权重并终止训练。 我一般会把patience设成8保证模型收敛又不过拟合省下来的训练时间还能多跑一组对照实验。习惯三把随机种子固定下来。 模型初始化权重、数据打乱顺序都和随机数有关不固定随机种子的话同一份代码每次跑出来的结果都会有波动。 训练脚本开头加一行torch.manual_seed(42)再把numpy和random的种子一起固定结果就完全可复现了。从那以后我每次跑医学图像分类大作业都会强制走一遍这条流程先看数据格式和统计分布再验一遍数据划分有没有泄漏最后固定种子跑五折交叉验证出提交文件。 这套代码帮我省掉了大部分重复造轮子的时间剩下的精力全花在调关键参数和写实验报告上。 希望帮到你。本文还有配套的精品资源点击获取
