茶叶品种识别听起来是图像分类里的细粒度识别问题但真正把它落成项目之后你会发现自己面对的是一个目标检测问题一张茶样照片里有多个叶片大小不一、姿态歪斜、光线不均模型不仅要判断这是什么品种还要把每个有效叶片在图像里的位置标出来。这个项目正好踩中这条技术路线——用RetinaNet这套单阶段检测框架配合R50骨干、FPN多尺度结构以及GHM梯度协调机制在COCO预训练模型基础上针对茶叶数据集做迁移训练。整个系统我们称为“R50-FPN-GHM”配置听起来像一套编码其实就是三件事R50负责特征提取得足够深但不至于过拟合FPN负责把不同尺度的叶片特征统一用起来GHM负责在训练时把样本不平衡和难易样本分布自动协调。对刚接触目标检测或者说只跑过分类模型的开发者来说这套系统是一个很典型的中阶项目——既有数据工程的细节又有训练调参的经验还有从通用检测器迁移到垂直领域的方法论。如果你最近正好在做农产品识别、外观质检类项目或者单纯想搞明白RetinaNet在实际任务里怎么组合R50和GHM这篇文章值得看完。我会把从数据准备、模型结构理解、训练参数选择到踩坑记录整个过程都拆开讲。1. 项目整体设计与思路拆解1.1 从“分茶叶”到“找茶叶”任务定义的变化刚开始想这个项目时很多人第一反应是用ResNet之类的分类网络把一张茶叶图整体扔进去输出“这是品种A”“这是品种B”。但实际采集回来的茶叶照片根本不是那么回事。自然光下拍的茶叶样张背景可能是白纸、竹匾、黑色托盘叶片可能三四片叠在一起单片叶子还有残缺、卷曲、反光。整图分类会把背景纹理、托盘颜色、桌面材质一起学进去模型很容易学会“看环境猜品种”而不是真的看叶片形态。更麻烦的是后续如果要做单叶片的形态测量、叶缘锯齿分析整图分类完全没有输出位置的能力。所以我把任务定义改成了目标检测每一个有效叶片都用一个矩形框框出来框里给出品种类别。这一步看着只是换了个输出头实际上改变了整个数据流程和评估方式。之后模型既可以在图像层面判断“这张图里有哪几种茶”也可以精确到“左上角那片叶子是什么品种”留出了很大的扩展空间。1.2 为什么选择RetinaNet这套组合目标检测领域主流的几条技术路线我基本都跑过一遍对比。两阶段检测器精度高但训练和推理链路长在资源有限的场景里效率不高。YOLO系列快但在细粒度、小目标居多的农林业场景里对叶缘、叶脉这类细微差别的敏感度不如密集锚框的RetinaNet稳定。RetinaNet最核心的武器是Focal Loss。茶叶数据里有个非常典型的类别不平衡问题一片图像上可能只有五六个真实叶片但RetinaNet作为单阶段检测器会在一张图上生成上万甚至几十万个锚框。其中绝大部分锚框落在背景上属于简单负样本。如果让这些简单负样本正常参与损失计算它们的梯度会淹没掉少数正样本和难分样本的信息模型训练半天检测头只会学会“看见啥都说不是目标”。Focal Loss做的事情本质上是给不同样本的损失加了权重调制对于已经被模型正确分类、且置信度很高的简单样本把它的损失贡献降得很低对于置信度低、容易分错的样本保持甚至放大损失贡献。这样训练注意力就被拉到真正难的地方。实际比较下来用YOLO做这个茶叶识别速度确实快但小叶片漏检率偏高用两阶段方案精度够但训练周期长部署时显存占用也大。RetinaNet处于一个比较均衡的位置精度接近两阶段方法速度又比两阶段快不少适合茶叶这类中等数量目标、背景复杂、尺度差异大的场景。1.3 R50-FPN-GHM三条线怎么分工这套配置可以拆成三个模块理解R50指ResNet50骨干网络负责从原始图像里一层层抽取语义特征。选择50层而不是更深的101层是因为茶叶叶片纹理相对固定数据集规模又有限太深的网络很容易把训练集背下来。FPN指特征金字塔网络把骨干网络不同层输出的特征做自顶向下的融合。小叶片用浅层高分辨率特征检测大叶片用深层语义特征检测两者互不干扰。GHM指梯度协调机制是训练策略层面的升级。它替代了Focal Loss但对样本难易程度的判断更贴近真实的梯度分布不需要像Focal Loss那样反复调两个超参数。这三个模块不是拼凑关系。R50负责“看”FPN负责“看得全”GHM负责“学得稳”。下面我把每个部分的原理和实际使用经验展开讲。2. 核心原理Focal Loss、FPN与GHM到底怎么协作2.1 R50骨干网络的理解与选型边界ResNet50是ImageNet时代最经典的骨干之一。它的四个Stage分别输出不同分辨率的特征图分辨率从输入图像的1/4一路降到1/32通道数也越来越大。浅层特征保留了大量边缘、颜色、纹理细节深层特征语义更强但对位置信息不敏感。在茶叶识别这个任务里叶片边缘锯齿、叶脉走向、叶面光泽都是关键判别信息这些信息主要存在于浅层和中层特征里。如果只用深层特征做最后的分类和回归很多细节已经被卷积和池化磨平了。所以RetinaNet不会只用一个层级的特征而是把骨干的多个Stage输出都送入FPN让检测头在不同分辨率特征上各自预测。至于为什么不用ResNet101或更重的骨干我踩过一次明显过拟合的坑。第一次用更大的骨干在几百张茶叶图上训练训练集损失下降特别快验证集的mAP却在后期不断震荡典型的记住了训练环境、没学会茶叶特征。后来换回ResNet50配合数据增强和合理的训练轮数效果反而更稳。选骨干不是越深越好要看任务的数据规模和特征复杂度。2.2 FPN多尺度特征融合叶子大小跨度过大的解法同一张茶叶照片里叶片大小差异可以非常夸张。近处的叶片可能占据图像一半远处的叶片可能只有几十个像素。如果只用一个尺度的特征图做检测小叶片的分辨率不够容易漏检大叶片又容易被切成多个块出现重复框。FPN的处理方式是构建一条自顶向下的路径。深层特征图经过上采样和同尺寸的浅层特征图逐元素相加然后就产生了多个融合后的金字塔层级。RetinaNet通常使用P3到P7这五层P3分辨率最高对应小目标P7分辨率最低对应大目标。每一层都独立设置锚框尺度和比例检测头在这五个层级上分别做分类和框回归。实际训练中我观察到茶叶任务最有用的层级是P3和P4因为绝大部分叶片在图像里属于中小目标占比超过八成。P5以上层级主要作用其实是防止大片重叠叶片被漏检。2.3 GHM梯度协调比Focal Loss更稳在哪Focal Loss虽然解决了简单负样本主导训练的问题但它有两个实际痛点。第一公式里的alpha和gamma两个超参数非常敏感gamma调大一点难样本被过度强调模型容易去死磕标注有误的脏样本调小一点类别不平衡又压不住。第二Focal Loss对“难样本”的定义是置信度低但置信度低不等于值得学习有些置信度低的样本本身就是噪声标注。GHM换了一个切入点。它统计的是样本梯度模长的分布把梯度模长划分成若干个区间统计每个区间里样本的密度。梯度很小说明这个样本已经学得不错梯度很大说明是离群点或者异常样本这两种样本的权重都应该被压低处于中间梯度区间、数量又稀少的样本才是真正值得模型多看的。用GHM替换Focal Loss之后最明显的变化就是训练损失曲线平滑了不少不需要再花几天时间来回试gamma参数。GHM在大多数开源检测代码里已经有现成实现直接换损失函数即可网络结构不需要改。这也是我推荐在类似垂直场景里优先尝试GHM的原因——省调参时间还更稳。3. 数据准备与COCO格式转换3.1 茶叶品种数据的采集、标注与质检这个项目的训练数据不是现成的公共数据集而是自己采集和标注的。采集阶段要注意三个原则背景多样化、光照多样化、同一品种多个形态。如果只在实验室白底光源下拍模型学到的是拍摄环境而不是叶片特征拿到现场就崩。标注工具我建议用开源的图形化标注工具直接框出叶片外包围盒并打上品种类别。但这里有个非常关键的细节叶片边缘的锯齿部分是否算进框里不同标注人员容易产生分歧。所以在标注开始前我专门写了一份标注规范要求框必须完整包含叶片主体和叶柄不包含明显背景区域叶尖朝向随意。标注完成后还要做一轮质检把类别标错、框明显偏大偏小的样本抽出来人工修正。我自己的经验是茶叶数据集的标注成本约占总项目时间的40%。这个比例不要嫌高因为在目标检测里框的质量直接影响回归头的学习效果。宁可少几百张高质量样本也不要堆几千张乱标注的数据。3.2 转成COCO格式的具体设计主流的检测训练框架都支持COCO格式所以我们把茶叶数据统一转成COCO格式的JSON文件。COCO格式的核心是五个字段info、images、annotations、categories。其中categories定义了每个品种类别的id和名称annotations里每一条对应一个叶片框包含image_id、category_id、bbox、area等关键信息。bbox的格式要注意是[x, y, width, height]不包含旋转变换所有坐标统一用像素值。训练前还要做一个简单脚本清理掉两类无效样本一是宽度或高度小于2个像素的框这种框可能是标注时鼠标误点造成的二是面积占比异常大的框说明可能把整个画面都框进去了这种样本对训练没帮助反而会干扰锚框匹配。转换脚本本身不难难的是字段一致性。image的id和annotation里的image_id必须一一对应category_id必须是categories里定义过的值这些看似低级的问题在实际训练里最容易让程序报莫名其妙的错。我之前就在这里卡了半天最后写了一个数据校验脚本才解决。3.3 针对性数据增强与类别平衡数据增强不是越多越好而是越贴合场景越好。茶叶图像的常见干扰是光照变化、叶片翻转和拍摄角度的轻微倾斜。我用到了随机亮度扰动、随机对比度、水平翻转、小角度旋转和随机裁剪。这里要特别提醒翻转和旋转增强在茶叶任务上是安全的因为茶叶品种识别不依赖叶片的方向但如果你的任务包含“芽尖朝上”这类方向性要求就要禁用垂直翻转。类别平衡方面茶叶品种数量如果差距大比如品种A有500张品种B只有120张训练时默认的采样顺序会让模型偏向品种A。简单有效的做法是对每个epoch的样本采样做重加权让每个类别每轮出现的次数基本一致。也可以用Copy-Paste增强把少数类别的叶片抠出来贴到背景图上但不能贴得边界生硬否则模型会学会看边缘锐度。4. 模型实现与训练过程实录4.1 训练环境与依赖版本这个项目使用PyTorch生态实现检测框架采用以RetinaNet结构为基础的开源检测库。运行环境是Linux服务器单卡训练够用但强烈建议显存16GB以上。详细依赖项如下CUDA 11.x以上驱动版本要匹配PyTorch 1.10以上2.x更好对应的检测库和它依赖的编译环境如果你跟我一样用开源检测库安装后记得做一个极简跑通测试把官方提供的预训练模型加载进来对一张普通图片做推理确认数据流没问题以后再开始训练。这一步花不了几分钟但能避免后面数据集转格式、配置修改等问题全搅在一起排查起来很痛苦。4.2 关键超参数与学习率策略我最终采用的训练参数如下输入尺寸长边1333短边800保持原始宽高比批量大小每张卡8张单卡时使用梯度累积等效到16张优化器带权重衰减的随机梯度下降或AdamW基础学习率0.01按批量大小缩放学习率调整初期用500步热身后面用多步衰减总训练轮数60轮其中最后10轮关闭数据增强基础学习率的缩放是大批量训练的关键。如果批量大小从8翻到16学习率按线性比例翻倍但要注意如果批量再翻倍线性缩放的上限就会达到需要配合更大的热身步数来防止训练初期loss爆炸。还有个经验是训练后期冻结骨干网络层。前40轮让骨干和检测头一起更新让网络充分适应茶叶数据后20轮只更新检测头把骨干层学习率设为骨干学习率的0.1倍。这个操作在数据集不大的时候特别管用能显著减少对预训练特征的破坏。4.3 使用COCO预训练权重做迁移初始化RetinaNet在COCO数据集上训练时骨干网络已经学会了通用物体的边缘、纹理、颜色响应检测头也学会了锚框分类和回归的基本模式。如果从头开始训练茶叶数据量根本不够模型收敛所以迁移学习在这里不是可选项而是必需品。加载COCO预训练权重时有一个常见坑COCO数据集的类别数量是80茶叶数据集是自定义类别数两者的分类层维度不一样。加载权重时必须把最后的分类卷积层过滤掉或者重新初始化但保留骨干和回归头的权重。如果你直接整体加载权重代码会报维度不匹配。我更推荐分两阶段训练。第一阶段冻结骨干只训练检测头几十轮让检测头先适应当前的锚框分布和类别数第二阶段再解冻骨干用较小学习率微调全部参数。这种做法在茶叶这种中小规模数据集上效果明显比直接全量微调更稳定。5. 训练阶段的高频问题排查5.1 GHM替代Focal Loss后分类损失仍在波动GHM虽然不需要像Focal Loss那样调gamma参数但仍有自己的超参数需要关注比如梯度模长分桶的bin数量、梯度密度计算的滑动平均系数。如果分类损失在训练中期反复震荡优先检查两类样本的分布是否极端某个品种的叶片特别大锚框匹配数量很多另一个品种叶片特别小匹配数量很少。此时可以增加小目标类别的采样权重或者对图像做多尺度随机采样让小品种叶片在训练中出现的有效框数量更均衡。我还会在loss曲线震荡期间打印每个类别的平均IoU和平均置信度如果某个类别的平均IoU明显低于其他类别大概率是这个类别的标注质量不高回头检查数据比调参更有效。5.2 茶叶细粒度差异带来的误检茶叶不同品种之间的差异很多不是“有没有”而是“形态像不像”。比如品种A和品种B的叶片轮廓几乎一样差别只在叶脉密度这对目标检测头来说是很高的要求。一个有效做法是在训练时提高输入分辨率。把短边从800提升到1000虽然训练速度慢了约30%但小叶片和细微纹理特征保留更完整Fine-grained类别之间的区分度明显提升。另一个做法是加入ROI裁剪后的细粒度分类分支先用RetinaNet检测出叶片框把框内区域额外送入一个轻量分类头。检测和细粒度分类分工合作效果比只让检测头硬扛要好。5.3 显存不足与训练速度过慢的实操解法显存不足是目标检测项目最常见的硬件问题毕竟一张图像经过FPN后会产生多个层级的特征图每层特征图还要对应大量锚框。我常用的解法是按优先级排序打开混合精度训练显存占用能降低约30%速度提升明显关闭FPN中较少用到的P6和P7层如果叶片尺度不大只保留P3到P5减小测试时输入尺寸训练集和验证集可以用不同尺寸降低批量大小配合梯度累积来保持训练稳定性梯度累积的实现并不复杂原来8张图一次更新显存只能放4张那就每4张算一次梯度攒两次再更新参数。注意梯度累积时学习率要按实际总批量来设置不然loss收敛速度会不匹配。6. 评估、部署与后续扩展6.1 评估指标怎么定才贴合业务目标目标检测常用mAP指标但通用mAP并不完全等于茶叶识别的好坏。COCO的mAP因为覆盖不同IoU阈值对框位置的精度要求很高而茶叶业务里框稍微偏一点并不影响品种识别更重要的是每个类别的召回率。我评估时重点看三类指标每个类别的AP50、小目标面积小于32×32像素的AP、以及每个类别的召回率。AP50代表框基本框准就算对小目标AP代表细小叶片没有流失召回率代表有没有大量漏检。只有这三类指标同时合格系统在真实场景里才真正可用。6.2 推理阶段与部署注意事项训练完成后推理速度是另一道坎。把训练好的模型从检测框架中导出为推理格式用深度学习框架的C接口部署加载权重后看到的主要瓶颈有两个预处理耗时和检测后处理耗时。预处理里包含图像解码、缩放、归一化如果每张图都做一遍CPU开销很大。优化方案是把图像解码和缩放放到带GPU加速的预处理流程里或者提前把输入尺寸固定避免动态形状带来的额外开销。检测后处理主要是非极大值抑制类别越多跨类别的抑制逻辑越耗时。茶叶品种类别数不多可以把非极大值抑制的置信度阈值调高一点直接过滤低质量框减少计算量。实测在单张GPU显卡上推理一张1280×960的茶叶图从图像输入到输出结果可以控制在几十毫秒内放在产线旁做实时辅助质检问题不大。如果还想进一步提速可以用TensorRT做模型优化但要注意优化后确保模型的框回归精度没有明显下降。6.3 后续可以怎么扩展这个系统现在的输出是“类别位置框”但这些信息完全可以继续往下游延伸。比如对每个叶片框做二值化分割提取叶形轮廓计算叶长、叶宽、叶面积和叶缘锯齿密度这些形态指标可以辅助品种鉴定也能用于茶叶等级评估。另一个方向是做实时视频流检测。把单图推理模型接到摄像头采集链路上用帧间目标跟踪减少重复检测就能在传送带场景里对所有茶叶做连续识别。再往深了走还可以引入光谱图像或者红外图像作为补充模态用多模态方式提升在暗光、复杂背景下的识别稳定性。拉回来说一句实在话这个项目最值得学习的不是把RetinaNet跑通而是搞清楚“一个通用目标检测模型是如何被改造为垂直领域专用识别系统”的完整过程。模型选型、数据格式转换、GHM协调机制、迁移学习策略每一步都踩在通用方法和具体业务之间的接缝上。按我自己的经验做完这一整套流程再遇到类似的小目标检测或细粒度识别项目你基本不需要再从头踩一遍我踩过的坑了。
