简介这是一篇发表于《农业工程学报》2021年第1期的学术文献面向农业机械化、计算机视觉与深度学习应用研究者聚焦生姜机械化播种中种芽快速识别与朝向判定难题。文章基于YOLO v3构建识别网络引入DIoU边框回归损失函数提升回归精度并结合基于IoU的K-means聚类生成适配种芽尺寸的先验框还设计了壮芽选取与朝向判定流程测试平均精度与F1分别达98.2%和94.9%GPU加速检测速度112帧/s为自动化精确播种提供了可参考技术方案。资源为单份完整PDF全文共1个文件压缩包约4.64MB适合深度学习农业应用、目标检测优化等方向的论文研读与方案借鉴。目前已有147人学习内容从目标检测优化到农机应用均有涉及对正在开展作物种芽/目标检测相关研究或撰写农业工程类论文的读者具有直接参考价值。1. 深度学习要在这个任务里解决的不是“认姜”是“找芽”和“看方向”生姜播种前工人要把姜种按芽朝上的方向一块块摆进土里。芽朝下或者横着埋出苗率会掉两成以上这是实打实的农艺要求不是玄学。问题是人工摆姜一天要重复几千次判断眼睛盯着姜块找那个一两厘米长的芽尖再凭经验判断它的指向累而且容易看错。这个标题里说的深度学习模型本质上只干两件事第一件是在图像上把姜芽的位置找出来第二件是针对每个姜芽判断它的芽尖朝向哪个方向角。适合读这篇文章的人是打算做播种机视觉系统、姜种分选设备或者想把自己手里的检测模型扩一个角度分支的人。这套方案不挑特别贵的硬件算力集中在推理阶段关键是把数据定义和模型结构想清楚。2. 先让数据说话生姜种芽数据的采集、朝向定义与标注规范2.1 采集条件决定了一半的模型效果很多做深度学习检测项目的人第一步就去搜公开数据集但生姜种芽这种农业场景几乎没有现成可用的。常见做法是自己搭一个采集工位工业相机俯拍镜头离传送带大约四十到五十厘米视野里能放下五到十个姜块。采集环境的光源要均匀最好是环形漫射光或者两根条形光源斜打避免姜皮上的高光把芽尖吞掉。白平衡在批次内锁死不要开相机的自动白平衡否则不同帧之间色温飘移模型会学到光源变化而不是学姜芽本身。拍摄角度要尽量固定。相机和姜块之间的相对姿态一旦变芽尖在图像上的投影方向就会跟着变朝向判定模型的输入分布就乱了。前期采集我一般会覆盖几个明确的变量不同姜种至少三个品种、芽长从刚冒头到两三厘米、表面带泥与不带泥、湿润与偏干。第一版数据集拍两百到三百张就够启动每张图里摆十来个姜块累计有两三千个姜芽样本。这个量级对目标检测来说不算大但配合图像增强足够先把流程跑通。采集时还有一个容易忽略的点姜芽在图像里非常小通常只有三四十个像素见方。为了让检测模型能看得到细节相机分辨率建议不低于1200万像素或者把一张图切成四块分别输入。有人一开始图省事用低分辨率工业相机结果姜芽糊成一团标注也标不准后面所有环节都跟着翻车。2.2 朝向判定到底判的是什么先定义“芽尖角”别用四分类糊弄过去看到“朝向判定”四个字很多人下意识会认为输出“朝上、朝下、朝左、朝右”四个类别就够了。但实际落地时播种机摆盘对朝向的要求往往是一个连续角度比如要求芽尖与水平线成60°到120°之间的夹角。四分类模型的粒度太粗遇到斜向的芽很难给出稳定结果。更稳妥的做法是把朝向定义成一个角度回归任务。我这里给出一套便于标注和计算的定义芽尖角指“从姜芽着生点芽根指向芽尖最远端”的向量与图像坐标系x轴之间的夹角0°朝右逆时针为正范围是[0°, 360°)。为什么不用“芽朝上就是0°”因为一旦定义成朝上为0°标注员和程序都要处理“哪个方向算基准”的歧义而向量角度只从一个点指向另一个点语义干净后续代码不容易写错。这个定义的好处是标注员不需要去估一个角度数值只需要点两个点芽根和芽尖。两点坐标一确定角度由代码自动算出来人工量角产生的噪声就消除了。实际标注时规范要写清楚如果姜芽有弯曲选芽尖最远端的边缘点如果姜块上同时有多个芽只标跟当前播种姿态最相关的那一个主芽其余不标避免模型学到“多个芽”的模糊目标。2.3 标注工具与标签文件格式两点坐标自动换算角度目标检测部分用LabelImg标水平矩形框就行框住芽体本身。DOTA格式的旋转框在这个场景里不是必须的因为后续我们会在检测框基础上裁小图再做角度回归水平框配合外扩完全够用。标完检测框后再用一个小脚本导入图片人工点芽根和芽尖两个点把角度算出来存入标签文件。整个标签体系分两部分一个是检测用的矩形框文件一个是角度用的CSV/JSON。用下面的函数把两个点转成角度import math def compute_angle_deg(root_pt, tip_pt): dx tip_pt[0] - root_pt[0] dy tip_pt[1] - root_pt[1] angle_rad math.atan2(dy, dx) if angle_rad 0: angle_rad 2 * math.pi return math.degrees(angle_rad)这个计算方式遵循图像坐标系x轴向右y轴向下。atan2会返回从向量到x轴正方向的夹角范围是(-180°, 180°]负值加上360°后统一映射到[0°, 360°)区间。注意图像上y轴向下但这并不影响向量角的一致性只要训练和推理沿用同一套坐标约定就不会出错。标注时务必把根点和尖点顺序固定否则角度会差180°模型怎么训都训不出来。提示角度环绕问题在第4章会详细讲。这里先记住一点标签不要直接存“角度数”本身作为回归目标忍着点后面使用sin/cos目标会更稳。3. 识别到朝向两段式模型的建模路线与训练参数3.1 为什么不用端到端旋转框检测标题指向的任务最容易想到的方案是直接上旋转目标检测模型比如YOLOv8-obb。旋转框同时输出位置和角度一阶段出结果。但我实际做过对比之后在两三千个姜芽样本规模下不推荐这条路。主要原因是标注成本。旋转框需要同时标矩形的长边和方向标注员之间一致性很难保证角度差十度就影响训练标签质量而且旋转框检测模型对很小目标的召回率本来就不如水平框稳定。更重要的是播种场景并不需要极高精度的角度误差十度以内完全可用两阶段方案足够。我常用的是两段式建模路线第一段用一个水平框目标检测模型把姜芽位置找出来第二段把所有预测框裁剪成小图喂给一个角度回归模型。这样两个模型可以分别调优检测召回率低时不会连带拖垮角度精度角度模型换结构也不用重新跑检测训练。工程上还有个好处推理时如果只需要判定上/下方向角度模型可以直接替换成一个小分类头检测部分完全不动。3.2 第一段用YOLOv8把姜芽找出来检测部分用YOLOv8s起步是性价比比较高的选择。训练命令和关键参数如下yolo detect train \ dataginger_shot.yaml \ modelyolov8s.pt \ imgsz800 \ epochs100 \ batch16 \ close_mosaic10 \ cos_lrTrue参数要解释。imgsz我特意设成800而不是默认的640。前面说过姜芽只有三四十像素640分辨率下很多芽连十个像素都不到检测头很难聚焦。提到800之后小芽的召回率能明显回升。代价是训练速度和显存消耗增加RTX 3060级别的显卡上batch设16没问题。close_mosaic表示最后10轮关闭马赛克增强让模型在接近真实分布的图像上稳定收敛这个参数不要省略。modelyolov8s.pt表示加载COCO预训练权重对农业场景通常有帮助因为浅层特征通用性强。如果你想把速度拉到极致可用用yolov8n但检测框会粗糙一些后续裁剪时需要注意外扩系数。训练完先不要急着调角度用验证集看检测框的AP50和AP75。如果AP75低于80%说明框位置抖动大考上来的角度模型会大概率受残影干扰。检测框比物体大一点没关系但绝对不能漏芽或者切掉芽尖。3.3 第二段裁剪图上的角度回归头检测模型输出的是每个姜芽的水平框。下一步把所有框往外扩20%像素从原图上裁出正方形区域缩放到200×200输入角度模型。外扩是为了保证芽根和芽尖都在框内避免裁切把关键特征切掉。这里给出数据处理代码片段import cv2 def crop_with_padding(img, box, pad_ratio0.2, size200): x1, y1, x2, y2 box w, h x2 - x1, y2 - y1 cx, cy (x1 x2) / 2, (y1 y2) / 2 side max(w, h) * (1 pad_ratio * 2) nx1 max(0, int(cx - side / 2)) ny1 max(0, int(cy - side / 2)) nx2 min(img.shape[1], int(cx side / 2)) ny2 min(img.shape[0], int(cy side / 2)) crop img[ny1:ny2, nx1:nx2] return cv2.resize(crop, (size, size))这个函数用正方形边长side替代原框宽高避免长方形裁剪后resize造成扭曲。pad_ratio0.2是让四周各留10%的边际实测对于姜芽这种细长物体够用。如果prune完检测框发现芽根和芽尖有一侧贴边可以加大到0.3但边框背景过多又会引入干扰需要权衡。角度回归头在PyTorch里的实现非常轻量常见做法是把ResNet18倒数第二层的输出接两个全连接import torch import torch.nn as nn class AngleHead(nn.Module): def __init__(self, backbone_out512): super().__init__() self.head nn.Sequential( nn.Linear(backbone_out, 64), nn.ReLU(inplaceTrue), nn.Linear(64, 2) ) def forward(self, features): return self.head(features)这里输出的两个值分别是sinθ和cosθ。为什么不是直接回归角度值因为角度是周期变量0°和359°在数值上差359但实际方向几乎相同直接用L1损失模型会在这两个点之间反复横跳训练不稳定。用sin/cos表示角度两个数值是连续的且每个角度对应唯一的二维向量深度学习卷积神经网络学起来会更顺。提示推理时用atan2(sin_pred, cos_pred)把输出还原成角度再把负角度映射到[0°, 360°)区间就行。训练时的标签也用torch.sin(torch.deg2rad(angle))和cos转换成目标向量。损失函数用SmoothL1Hubber Loss比MSE更耐异常值。3.4 朝向判定的评估口径±15°误差内判对率比MAE更重要评估角度回归模型不能只看平均绝对误差MAE。如果模型在大多数样本上误差5°但少量样本差150°MAE会很难看而业务上那部分罕见偏差可能只是标注噪声。正确的评估方式是只看“判对率”def acc_within_tolerance(pred_deg, label_deg, tol15): diff abs((pred_deg - label_deg 180) % 360 - 180) return float(diff tol)这个公式把角度差归一化到[-180, 180)再判断是否落在±15°容差内。播种机实际下种时芽尖方向在±15°偏差对发芽影响不大所以这个口径比MAE更贴合业务。建议同时报告三个数MAE、±15°判对率、±30°判对率。第一个用于调试模型后两个给设备验收用。这里要特别提一点角度标签本身是有噪声的。标注员点根点和尖点时一个像素的偏差在200×200的小图上可能对应好几度误差所以模型角度预测能力强刷到±15°判对率99%以上不一定是真实的模型精度可能是标签噪声太小后过拟合的表现。合理的目标是模型判对率比复标内部一致性高两三个百分点即可达到这个水平就往部署走了。4. 避坑姜芽朝向判定训练与部署里的拦路虎4.1 角度回归loss突然从0.01跳到0.8现象训练到一半损失函数周期性出现尖峰验证集判对率骤降。原因直接回归角度值模型预测输出在靠近0°/360°边界处产生微小波动但计算损失时数值差了359°梯度爆炸。解决切换到sin/cos双输出目标。这是角度回归任务里最经典的一个坑只要做角度回归就必须在数据预处理阶段就转成向量表示不要等到loss爆炸才想起来。4.2 做了水平翻转增强朝向全反了现象验证集上其他角度都正常唯独指向左侧和右侧的样本整体判对率掉到一半以下。原因训练数据增强阶段用了随机水平翻转但标签还是原来的角度。水平翻转后的姜芽图像芽尖朝左会变成朝右角度必须同步变换原本的角度θ要变成180° - θ再归一化到[0°, 360°)。解决凡是涉及翻转、旋转90°的增强都需要写一个标签联动函数角度变换必须严格跟着几何变换走。如果不想增加这个复杂度最简单的方法是训练角度模型时干脆关闭翻转增强靠角度覆盖本身来保证各方向样本均衡。4.3 相邻姜芽靠太近被检测成一个框现象验证集AP很高但部署到真实姜块上模型把两个并排的芽框成一个。原因搬运时姜块之间可能存在重叠或者同一姜块上两个芽挨着。检测模型学的是矩形区域内芽的密集程度两个芽靠得越近非极大值抑制NMS就越难分行。解决数据施工上在采集阶段故意把姜块摆紧凑让训练集覆盖这种拥挤场景标注规范里写明“相邻两个独立芽各自标框框边不允许超过芽体外补到对方芽区”部署时把NMS阈值调低到0.3减少粘连框被合并的概率。如果还是出现就在检测结果上用连通域分析二次分割。4.4 朝向角全往样本最多的方向偏现象模型预测的角度大部分落在样本数据最多的方向范围少数方向完全预测不准。原因数据分布不均。比如采集时把姜芽都朝上摆模型学到的先验就是“朝上的概率最大”所以遇到任何模糊样本都倾向于输出朝上。解决在训练前做角度直方图统计把样本数最多的方向降采样或者按角度分桶做加权采样。对于角度回归任务最简单的做法是把数据集按16个角度桶均匀重采样每个桶最多保留同样数量样本。4.5 裁剪框太小resize把芽尖抹糊了现象角度模型在检测框遮挡精细部分时准确率明显低于单独测试时。原因检测框把芽严丝合缝地框住芽尖贴着边界外扩不足导致周围上下文信息丢失resize之后芽尖细节被压缩到无法辨认。解决在裁剪函数里把外扩比例从0.1调到0.3保证原图上的姜芽只占裁剪区域一半左右。这样模型能看到“这块姜的芽往哪个方向伸”而不是只看“一团模糊的芽尖像素”。这一步调大之后判对率通常能稳定提升三到五个百分点。4.6 换了场地光线就掉六个点现象模型在采集工位测出来±15°判对率95%搬到播种机现场后降到89%。原因现场环境光比采集工位复杂姜块上的阴影和不均匀色温让裁剪子图分布偏移。解决采集阶段刻意加入不同亮度的组用白平衡增强模拟现场色温变化另一种低成本做法是部署前在现场采集五十张图做一次滤色器微调细粒度特征适配。不要指望模型泛化性在真实农业场景下自己扛住光照一变一切归零。5. 部署与验证把模型塞进播种机之前先让它在几十颗姜芽上裸跑一遍模型训练完进入部署阶段时很多人急着转TensorRT或者OpenVINO。但我建议先做一次纯CPU/GPU上的“裸跑验证”把两个模型级联起来在一次前向流程中输出每颗姜芽的检测框和朝向角。部署环境上的标准做法是先把两个模型各自导出成ONNXyolo export modelbest_det.pt formatonnx opset12 torch.onnx.export(angle_model, dummy_input, angle_model.onnx)然后用ONNXRuntime做推理。角度模型推理代码非常简单import onnxruntime as ort import numpy as np sess ort.InferenceSession(angle_model.onnx, providers[CUDAExecutionProvider, CPUExecutionProvider]) crop preprocess(crop_img) out sess.run(None, {sess.get_inputs()[0].name: crop})[0] pred out[0] angle_deg np.degrees(np.arctan2(pred[0], pred[1])) % 360preprocess就是前面提到的crop_with_padding加上归一化和CHW转置。这一步跑通后再考虑做TensorRT加速。实际上YOLOv8检测部分用ONNXRuntime在RTX 3060上跑800×800输入大约需要15毫秒角度模型输入只有200×200计算量可以忽略。整个识别加朝向判定的pipeline90毫秒以内完成是合理的满足每秒十几个姜块的传送带速度。上机验证时不要直接跑一百张我会用最笨的办法人工挑五十颗姜芽现场摆好相机拍一次让模型输出每一颗芽的角度同时让两个工人分别人工记录角度取人眼的平均值作为参照。然后把模型输出与人工参照做差统计±15°判对率。这一步能在半小时内暴露级联流程里的坐标映射错误、裁剪偏移或角度坐标系不一致比调参更优先解决。这之后还有一个值得做的进阶动作在检测阶段采用滑动窗口推理SAHI切片大图把800×800输入切分成400×400子块重叠推理再合并结果。因为实际传送带上可能一行摆十几个姜块大图直接推理时远处姜芽太小、角度模型裁剪质量差切片推理能把小芽召回率再拉高代价是推理时间翻倍。如果传送带速度允许这个技巧值得加。我个人养成的一个习惯是每次部署新项目都先写一个--selftest命令行参数挂在主程序里传入一张包含已知朝向的板卡图像跑完直接打印每颗姜芽的方向和置信度。这样做有两个作用换机器时快速验证环境没配坏现场调试时能确认模型加载的是最新权重而不是某个旧缓存。这个习惯帮我避开过好几次“明明改了模型但线上跑的是旧文件”的尴尬。希望帮到你。本文还有配套的精品资源点击获取
