简介一个完整的基于深度学习的骨龄检测识别系统项目面向医学图像分析研发人员、人工智能学习者和儿科影像研究者。系统以PyTorch为框架采用Pyside6构建交互界面核心采用YOLOv5模型识别儿童手腕X光图像中的骨骼特征并推断骨龄可用于辅助儿科生长发育评估是医学影像与计算机视觉结合的典型工程实践。压缩包约406MB共205个文件包含71份Python源代码、11个YOLOv5模型权重文件、32个模型配置YAML文件、12个环境配置YML文件另含界面资源、Jupyter教程、中文说明文档及Dockerfile等覆盖了从模型训练、推理到界面部署的完整链路。自发布以来已有332人学习资料包含可复现的源码、预训练权重、配置清单和操作指南便于读者快速复现骨龄检测实验也适合在此基础上扩展功能或优化模型。1. 先说结论骨龄检测没那么玄学本质就是“找骨头、量大小”手头拿着一张左手腕 X 光片按传统 TW3 法人工判读骨化中心有经验的医师也要花十来分钟逐块骨头打分。而换成深度学习方案流程就变成检测模型把桡骨、尺骨、各掌指骨的骨骺区域框出来再做区域分级和面积测量最后映射成骨龄。整套系统用 PyTorch 训练检测模型用 Pyside6 搭桌面端从拖入一张图到输出骨龄结果几秒搞定。这份资源适合正在做医学图像处理毕设、实验室横向课题或者想给影像科做辅助判读工具的开发者。它的核心价值不是那几行界面代码而是把 YOLOv5 用在“定位骨化中心”这件事上的完整套路——哪些地方能用默认逻辑哪些地方必须手动干预下面逐层拆开说。2. 为什么选 YOLOv5 而不是分类网络骨龄检测的本质是定位加回归2.1 骨龄检测任务拆解从整幅 X 光片到骨化中心分级骨龄判读的过程并不是“看一眼整张手腕片子得一个年龄数字”而是医生先找到腕骨、桡骨远端、尺骨远端和各个指骨的骨骺区域逐个判断骨化中心的出现、形态和融合程度再综合打分。这个过程天然是两级任务先定位后判定。如果直接用 ResNet 这类分类网络把整张 2000×3000 的 X 光片压缩成特征向量再去回归骨龄会遇到三个问题。第一是骨化中心在整图里占比太小特征被全局池化稀释第二是模型的决策过程完全不透明医生不敢信一个黑匣子输出的年龄第三是整片输入对图像标准化要求极高不同设备、不同曝光条件下的片子全局特征漂移很严重。相比之下YOLOv5 这类目标检测网络输出的是若干个边界框每个框对应一个骨骼区域。先把“看哪里”的问题交给检测头解决再把框内的区域裁剪出来做精细分级既提高了准确率又能把检测结果可视化给医生看——哪个框对应哪块骨头一目了然。整条链路下来检测部分决定“找得准不准”分级部分决定“判得对不对”各司其职。2.2 YOLOv5 的边界框输出如何支撑骨龄计算YOLOv5 的每个预测框输出为 (x, y, w, h, confidence, class)其中 x、y 是归一化中心点坐标w、h 是归一化宽高。在骨龄场景里我一般把类别定义成“腕骨”“桡骨骨骺”“尺骨骨骺”“指骨骨骺”这几类而不是直接去分类几十个骨化中心。这样设计的原因很实际骨化中心是长在骨骼区域内的直接框小目标会带来两个麻烦——标注成本高、漏检率高。先框大区域再用传统图像处理或者一个轻量分类头去判断区域内有几个骨化中心、面积多大工程上稳定得多。检测框的数值本身也有价值。框的位置约束了后续裁剪范围w、h 则反映了骨骼区域的尺度变化。同一个病人的左右手片子骨骼区域宽度差异通常在 5% 以内一旦检测框尺寸异常可以作为数据质量告警的依据。这在训练阶段也是有效的数据清洗信号能自动发现标注错误。2.3 为什么偏要 YOLOv5 而不是 YOLOv8 或 Faster R-CNN这不是说 YOLOv8 不好而是这份资源给的选型逻辑更偏向工程落地。YOLOv5 的成熟生态在医学影像这类小样本场景里优势明显预训练权重丰富、部署方案多、社区踩坑资料全。Faster R-CNN 的精度上限可能更高但对小目标密集场景的推理速度慢很多做桌面端交互体验会打折。YOLOv8 解耦头的收敛速度确实快但配套的部署链路和 ONNX 导出坑处理起来比 v5 要花更多时间。如果你的训练数据量只有几千张用 YOLOv5s 起步、逐步放大模型尺寸比直接上大模型更稳妥。3. 数据集与标注左手腕 X 光片的清洗、标注与增强策略3.1 数据来源与划定训练集时的隐私边界医学影像数据和自然图像数据集有本质区别X 光片属于患者隐私数据公开数据集通常已经做了脱敏处理。我在做模拟项目 X 时用的是某公开的左手腕 X 光片数据集图像是 8 位灰度 DICOM 转 JPG原始分辨率约 2000×3000标注目标是桡骨骨骺、尺骨骨骺和腕骨区域。拿到数据后第一件事不是标注而是按病人 ID 拆分数据。这一点极其重要同一个病人的两张 X 光片如果一张进了训练集、一张进了验证集模型会通过背景纹理等特征“记住”这个病人验证指标虚高。我一般按 6:2:2 的比例分成训练集、验证集、测试集拆分粒度严格到病人个体而不是图像文件。3.2 标注工具与格式转换从 XML 到 YOLO 的 txt标注工具我用 LabelImg导出的是 Pascal VOC 格式的 XML 文件。YOLOv5 需要的标注是每个图像对应一个同名 txt每行内容为 class_id x_center y_center width height全部归一化到 01。下面这段脚本将 XML 转换为 YOLO 格式我每次都先跑一遍顺带检查坐标是否有越界import os import xml.etree.ElementTree as ET from tqdm import tqdm def convert_voc_to_yolo(xml_dir, out_dir, classes): os.makedirs(out_dir, exist_okTrue) for xml_file in tqdm(os.listdir(xml_dir)): if not xml_file.endswith(.xml): continue tree ET.parse(os.path.join(xml_dir, xml_file)) root tree.getroot() img_w int(root.find(size).find(width).text) img_h int(root.find(size).find(height).text) lines [] for obj in root.findall(object): cls obj.find(name).text if cls not in classes: continue box obj.find(bndbox) x1 float(box.find(xmin).text) y1 float(box.find(ymin).text) x2 float(box.find(xmax).text) y2 float(box.find(ymax).text) # 归一化到 YOLO 格式 cx ((x1 x2) / 2) / img_w cy ((y1 y2) / 2) / img_h bw (x2 - x1) / img_w bh (y2 - y1) / img_h lines.append(f{classes.index(cls)} {cx:.6f} {cy:.6f} {bw:.6f} {bh:.6f}) out_path os.path.join(out_dir, xml_file.replace(.xml, .txt)) with open(out_path, w) as f: f.write(\n.join(lines))逻辑说明脚本先解析 XML 中的图像宽高再遍历每个标注对象把 xmin/ymin/xmax/ymax 转成中心点坐标和宽高最后做归一化。因为 X 光片是单色图像XML 里不会有 polygon 这类复杂形状矩形框就够用。参数说明classes列表的顺序必须和训练时的数据配置文件一致例如[wrist, radius_epiphysis, ulna_epiphysis]顺序一旦变动模型输出的类别含义就会错乱。转换完成后还要做一步合法性检查任何 w 或 h 不能大于 1cx 或 cy 不能超出 01 区间。这类问题多出在标注框跨图像边界时YOLOv5 训练时会报错或静默丢弃查起来费时间。3.3 数据增强参数旋转、Mosaic 和翻页的取舍YOLOv5 的增强策略默认很强但医学图像里有两个参数必须手动关掉。一是水平翻转fliplr左手腕 X 光片有左右语义水平翻转会生成不存在的解剖结构二是 Mosaic 增强要慎用它把四张图拼在一起做训练不同患者的皮肤对比度和组织密度差异很大模型容易学到拼接边缘的伪影。我的做法是开启轻度旋转±15 度、轻微尺度变化缩放 0.81.2 倍、亮度对比度随机调整关闭水平翻转和 Mosaic前者能提升对不同投照角度的鲁棒性后者避免引入跨样本干扰。在 YOLOv5 的hyp.scratch.yaml里对应参数是fliplr: 0.0、mosaic: 0.0、hsv_h: 0.015、hsv_s: 0.5、hsv_v: 0.4。亮度饱和度的调整幅度也不用太大X 光片本身是灰度图过度调整会把软组织区域也变成强特征。4. 训练与调参YOLOv5 的六个超参和一个避坑清单4.1 模型尺寸选择高分辨率输入比大模型更值钱骨化中心这类目标在 X 光片上属于典型的小目标一般只有几十到上百像素。YOLOv5 默认输入分辨率是 640×640直接训练的话小目标在特征图上的响应会非常微弱。我的经验是输入分辨率拉到 1280 甚至 1536让骨化中心在输入图像中至少占 20×20 像素以上。模型尺寸方面用 YOLOv5s 起步显存允许就上 YOLOv5m。追求极限精度可以试 YOLOv5x但推理速度会明显下降桌面端交互时每张图可能要跑到 23 秒不建议初期就上。实际项目中YOLOv5m 配合 1280 输入在手腕骨检测上的效果已经能超过 YOLOv5x 配合 640 输入。4.2 训练命令与超参说明准备好bone.yaml数据配置后训练命令如下python train.py \ --data bone.yaml \ --weights yolov5s.pt \ --img 1280 \ --batch 8 \ --epochs 200 \ --nbs 64 \ --hyp hyp.bone.yaml \ --project runs/bone_train--img是输入分辨率直接决定小目标的特征响应强度--batch根据显存调整我常在 8 到 16 之间浮动--nbs是名义批次大小YOLOv5 会根据实际 batch 自动做梯度累积nbs 64表示以 64 为基准batch 为 8 时实际累积 8 次更新一次梯度--hyp指定自定义增强参数文件我把前面的 fliplr、mosaic 等写进hyp.bone.yaml里避免每次训练手改默认配置。这里有个血泪教训--nbs设置成 64 之后学习率会被自动缩放如果中途把 batch 从 8 改成 16学习率计算基准还是 64曲线会突然跳变。所以同一轮训练中不要随意改 batch要改就从头开始。4.3 监控指标mAP 会骗人先看 Recall 再看细粒度输出训练过程中我用 TensorBoard 看Box_Loss、Cls_Loss和Recall三条曲线。骨龄检测场景里漏检的代价远高于误检——漏检一个骨化中心后续分级直接出错多画一个框顶多让医生多看一眼。所以我更关注 Recall召回率而非 Precision。mAP0.5在骨龄任务上很容易虚高因为腕骨、桡骨这类区域目标大、背景干净检测难度不高。等 mAP0.5 稳定在 0.95 以上后要去看 mAP0.5:0.95这个指标对边界框定位精度更敏感能反映后续裁剪分级的稳定性。验证阶段还可以写一段脚本把检测结果按类别输出混淆矩阵。如果指骨骨骺的漏检率显著高于腕骨说明模型对更小目标还没吃透优先检查输入分辨率而不是盲目增大模型。5. 避坑与常见问题排查骨龄检测里最容易翻车的五个位置5.1 现象模型把整只手当成一个目标框训练几十轮后观察验证集照片发现模型输出的边界框把整个手掌甚至整条前臂都框进去了类别置信度还很高。原因标注阶段有样本把骨骺区域画得过大混入了大量软组织背景模型学到了“大片低密度区域就是一个目标”的规律。这是我第一次做骨龄项目时踩过最深的坑当时有一批标注框几乎贴着皮肤边缘直接带偏了模型。解决严格按骨骼边缘标注宁可框小一点也不要多包软组织。同时筛选所有 w、h 大于原图 0.5 的标注框逐一检查并修正。这一步做完误检率立刻下来。5.2 现象训练 loss 掉得很快但验证集 mAP 一直不动loss 曲线一路向下看着很开心但验证集指标五十个 epoch 都不涨。原因典型的三类问题。一是训练集和验证集没有按病人拆分验证集图像和训练集高度相似模型没有真正的泛化压力二是标注类别不平衡腕骨样本几百个、指骨样本几十个模型只学会了大目标三是数据增强开太猛Mosaic 拼图让模型学到的是伪影而不是骨骼结构。解决重建数据拆分逻辑按病人 ID 划分统计每个类别的样本数对少数类别做过采样或复制粘贴增强关闭 Mosaic检查增强后的图像。我会单独导出一批增强后的图看一眼确认模型“看到”的东西和自己的预期一致。5.3 现象PySide6 界面推理卡顿GPU 占用率却上不去在桌面端调用 YOLOv5 推理时界面拖动图像都卡GPU 利用率只有 20% 左右。原因图像预处理和结果后处理全在 CPU 上跑瓶颈根本不在 GPU。医学 X 光片大图缩放、归一化、颜色转换每一步都在 CPU 上耗时几十毫秒再加上 PySide6 主线程被推理任务阻塞界面自然卡死。解决把推理放到 QThread 子线程里主线程只负责显示。模型加载和预处理放在同一个线程的初始化阶段不要每次推理都新建模型对象。实际工程中我还在预处理阶段用cv2.resize(INTER_AREA)配合 NVIDIA 的 GPU 解码方案单张图从 2000×3000 缩小到 1280 再进模型处理时间能压到一半以下。import threading import queue from PySide6.QtCore import QThread, Signal class InferenceThread(QThread): result_ready Signal(object) def __init__(self, model, input_queue): super().__init__() self.model model self.input_queue input_queue self.running True def run(self): while self.running: image self.input_queue.get() if image is None: break # 等比缩放 灰色填充保持 1280x1280 输入 padded self.pad_to_square(image, 1280) results self.model(padded, augmentFalse, conf_thres0.25) self.result_ready.emit(results)逻辑说明子线程循环从队列取图推理完成后通过 Signal 把结果传回主线程。这样界面拖动、按钮点击不会被推理任务卡住。参数说明conf_thres在骨龄场景里建议 0.25 起步。医学影像检测宁可多一些候选框后续用分级模型再过滤也不要在检测阶段就误杀了真阳框。5.4 现象导出 ONNX 后精度明显下降PyTorch 模型跑得好好的用torch.onnx.export导出 ONNX 后同一张图的检测框位置发生偏移。原因模型输入尺寸是动态的导出时没有固定 shapeONNX 的某些算子对动态尺寸处理不友好特别是上采样层。另外opset 版本太低时一些新算子会被替换成兼容性实现导致数值精度变化。解决导出时固定输入尺寸并简化模型。我的标准做法是用官方 export.pypython export.py \ --weights runs/bone_train/exp/weights/best.pt \ --img 1280 \ --include onnx \ --opset 12 \ --simplify--simplify会调用 onnx-simplifier 做计算图优化--opset 12是 OpenCV DNN 和 ONNXRuntime 兼容性最好的版本区间。导出后用 ONNXRuntime 跑一遍验证集对比 PyTorch 输出的 mAP 差异差异超过 1% 就回头检查预处理是否完全一致。5.5 现象同一张图训练时检测正常PyInstaller 打包后识别不出任何目标模型权重文件明明在项目根目录里打包成 exe 后放到其他电脑上就失效。原因PyInstaller 打包时没有把模型权重文件带进去程序运行时相对路径查找不到资源另外 OpenCV 在打包后可能缺少必要的 DLL图像解码直接失败。解决把资源路径改成获取临时解压目录的系统标准做法。在代码里加载模型前判断是否运行在 PyInstaller 环境中import sys import os def resource_path(relative_path): if hasattr(sys, _MEIPASS): return os.path.join(sys._MEIPASS, relative_path) return os.path.join(os.path.abspath(.), relative_path)并在打包命令里通过--add-data加上权重文件目录。最省心的做法是让模型权重外置程序启动时从同级目录的model/文件夹加载这样换模型版本不用重新打包我后来一直这么用。6. 把模型落成工具PySide6 桌面端的推理封装与边界处理6.1 推理接口从 QImage 到检测结果的完整通道PySide6 拿到用户拖入的 X 光片后先转成 QImage再从 QImage 转成 NumPy 数组这一步最常见的坑是通道顺序。QImage 的 Format_RGB888 转出来的数组是 H×W×3而 X 光片本身是灰度图直接用 YOLOv5 的灰度训练模型会导致通道维度不一致。我习惯在预处理时把灰度图复制三通道同时保留原始灰度图用于后续骨化中心面积测量。6.2 边界处理检测框坐标的逆映射与骨龄映射模型输出的坐标是 1280×1280 归一化值显示时必须按实际图像尺寸逆映射。如果预处理做了等比缩放加灰色填充要记录scale_factor和offset_x/offset_y否则框会整个错位。这部分我在第一次集成时就翻过车——界面显示的框偏到手指尖上不是模型错了是逆映射公式写反了。骨龄分数的映射我用的是“分区域成熟度打分法”对每个检测框内的骨化中心做二值化提取轮廓并计算面积占比面积占比超过阈值记为成熟最后按 TW3 的权重系数加权求和得到骨龄。这个步骤不需要额外训练模型用 OpenCV 的connectedComponentsWithStats就能实现跑起来非常快。从那以后我每次拿到新的检测模型都会先做一遍“病人级数据泄漏验证”——按病人 ID 拆分后重新训练一次对比 mAP 跌落幅度。如果跌幅超过 8%说明原指标里有泄漏水分模型根本没学会泛化只是背熟了训练集。这套验证流程加上前面的逆映射检查成了我做所有医学图像检测项目都强制走一遍的必经环节。希望帮到你。本文还有配套的精品资源点击获取
