前阵子用 YOLOv8 在 PVEL-AD 数据集上跑近红外光伏缺陷检测从数据格式转换、灰度图预处理到调参全流程过了一遍中间踩了不少坑也摸出了一些规律。PVEL-AD 这个数据集被不少做光伏质检的人当作基准测试集它覆盖了裂纹线状和星状、断栅、黑芯、未对准、粗线、划痕、碎片、断角、材料缺陷这类典型问题而且图像背景异构、亮度不一致对模型的鲁棒性要求很高。这篇就把整个流程完整复盘一遍适合正在做工业视觉缺陷检测、尤其是刚拿到 EL 红外图不知道从哪里下手的同学参考。1. 这个数据集到底在检测什么PVEL-AD 与光伏 EL 成像的底层逻辑1.1 为什么是近红外EL 图像的形成原理光伏组件的很多内部缺陷是肉眼看不见的但电致发光成像可以把它“照”出来。简单说给电池片正向通电流硅片内部会发出约 900—1300nm 波段的近红外光峰值大约在 1150nm 附近这个波段已经超出了人眼的可见范围普通相机是拍不到的必须用对近红外敏感的科研级硅基相机来成像。发出的光强度直接反映少子扩散长度、局部漏电、串联电阻等电学特性。如果电池片内部有裂纹、断栅或者黑芯对应位置的发光强度就会异常形成明暗不均匀的缺陷区域。这就是为什么 EL 检测能发现隐裂、材料杂质、电极异常这些传统可见光检测看不到的问题。PVEL-AD 采集的就是这类图像背景异构体现在不同组件厂、不同测试设备和不同成像参数上亮度、纹理、噪声水平都差异很大给模型泛化带来了不小的考验。提示EL 图本质上是一张灰度强度图不是彩色图。很多人第一次处理时把它当成普通 RGB 图直接丢给默认预处理管线结果颜色增强反而把图像分布带偏了。这一点到后面训练环节会展开说。1.2 PVEL-AD 的缺陷谱系九类缺陷的成像特征与难度差异标题里列出的裂纹线状和星状、断栅、黑芯、未对准、粗线、划痕、碎片、断角和材料缺陷基本覆盖了 EL 检测中常见的九类问题。从检测难度上看这几类缺陷差异非常大。线状裂纹通常沿晶界或者垂直于主栅线延伸形态细长可能只有几个像素宽但长度可以达到几百像素。星状裂纹以撞击点为中心向外放射结构比较特殊但和线状裂纹一样都属于小目标、细长形态。断栅是主栅线断裂表现为一条原本连续的亮线中间出现暗色缺口这类缺陷的对比度较高但容易被背景纹理干扰。黑芯相对“好检测”因为它是一个较大的暗色区域边界相对清晰难点在于不同图像中黑芯的亮度差异很大。未对准、粗线这两类属于工艺形状异常类别内部形态变化很大标注标准稍有不同模型就很容易混淆。划痕和碎片、断角往往叠加出现有时候一个框里同时存在多类缺陷。从模型角度来说细长类缺陷线状裂纹、划痕是最大的难点因为目标框可能很扁很长包含大量背景信息导致模型学到的特征不纯粹。黑芯和材料缺陷相对容易出高置信度但也容易把背景暗区误判成缺陷。所以训练前对这些缺陷类型的先验难度有一个认知后面调参数和数据增强时就有了明确方向不会一把梭。2. 为什么用 YOLOv8模型选型与检测任务的对齐2.1 YOLOv8 在缺陷检测场景的几个硬优势光伏 EL 缺陷检测属于典型的工业小样本、小目标、高背景复杂度任务。选择 YOLOv8 而不是更早的 YOLOv5、或者端到端检测头更重的其他模型主要看中它三个特性。第一YOLOv8 是 anchor-free 的解耦检测头分类和回归分支分开收敛速度更快对细长目标框的回归也更稳。传统 anchor-based 模型在遇到长宽比极大的裂纹框时预设 anchor 往往匹配不上导致正样本太少anchor-free 直接预测目标中心到边界的距离反而适应这种极端的宽高比。第二YOLOv8 默认加入了更完整的训练时增强逻辑Mosaic、MixUp、仿射变换等在小数据集上也能撑起更高的有效样本量。工业场景经常只有几百到几千张标注图没有这些增强模型很容易被背景磨掉泛化能力。第三推理管线成熟从训练到 ONNX/TensorRT 导出非常顺滑。在产线上做 EL 检测不可能只用 Python demo 跑着玩最终都要部署到工控机上YOLOv8 的导出生态比很多蒸馏模型、自研结构省事得多。2.2 针对 EL 图像的模型改型思路灰度输入、分辨率、anchor 调整EL 图像是灰度图但 YOLOv8 的数据加载器默认按三通道读图。如果直接把灰度图复制成三通道也不是不能用但要注意 ultralytics 默认的 HSV 增强会在这个“假彩色”上做颜色抖动相当于给原本没有颜色概念的图像强行加随机色偏训练时的数据分布和真实采集的图像分布会对不上导致验证集掉点。我自己实测下来的做法是在配置里显式关掉 hsv_h、hsv_s、hsv_v全部设为 0同时保留灰度信息图像整体做归一化对比度标准化。如果图像亮度差异很大可以在数据预处理阶段做 CLAHE对比度受限自适应直方图均衡化让暗场缺陷和亮场缺陷在输入层面先拉到一个比较接近的对比度范围。分辨率方面YOLOv8 默认 imgsz640对 EL 缺陷检测来说往往不够。一块 2028x2028 的电池片 EL 图线状裂纹可能只占几个像素宽度直接缩到 640 后细节几乎丢失。建议把输入分辨率提到 1280甚至 1536。显存有限的话优先选 YOLOv8s 或 YOLOv8m而不是把分辨率压到 640。分辨率对细长缺陷的影响比模型深度的影响更直接。anchor 在 YOLOv8 里已经不需要手动预设anchor-free 机制自动处理。但如果你是从 YOLOv5 迁移过来的思路要记得把那个“自动 anchor 计算”的执念放下YOLOv8 不再依赖这套机制。3. 搭建训练环境与数据准备工作流3.1 环境安装与数据集目录组织环境安装不需要多花哨一份 ultralytics 加上相应版本的 PyTorch 就够。我第一次用旧环境跑Python 3.8 torch 1.xultralytics 新版对 torch 版本有要求直接改了 Python 版本后一切才顺起来。如果你用的是 GPU 机器建议装带 CUDA 版本匹配的 PyTorch别图省事装 CPU 版。数据集目录按 YOLO 的标准结构组织el_dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ │ ├── val/ │ └── test/ └── el_defect.yaml这个结构看起来简单但实际转换标注格式时不少人会卡在路径对应关系上。images 和 labels 里子目录名必须严格一致因为 YOLO 默认通过替换路径后缀来找对应标注文件。比如 images/train/xxx.jpg 对应的标签必须是 labels/train/xxx.txt文件名主体保持一致这点非常容易出错。3.2 从 COCO/多边形标注转换到 YOLO 格式PVEL-AD 本身有公开的标注格式版本可能带 COCO 风格的 json 标注也可能带多边形分割掩膜。无论哪种最终都要转成 YOLO 需要的 txt 格式每行一个目标class_id cx cy w h。所有坐标值要除以图像宽高换算成归一化比例。如果原始标注是 COCO json 且带分割多边形为了转 bbox 可以把多边形坐标集求外包矩形。注意有些细长裂纹的外包矩形会框进一大块背景但这不算问题YOLOv8 的回归头有能力在训练中通过上下文区分目标区域。真正该做的是检查所有标注框是否出现宽度或高度为零的退化情况这种往往来自多边形点数不足不处理会导致 loss 出现 NaN。下面这段是我常用的转换脚本核心省略了误差处理部分供参考import json import os from PIL import Image def coco_to_yolo(coco_json_path, image_dir, output_dir): with open(coco_json_path, r) as f: coco json.load(f) categories {cat[id]: idx for idx, cat in enumerate(coco[categories])} images {img[id]: img for img in coco[images]} annotations coco[annotations] os.makedirs(output_dir, exist_okTrue) for img_id, img in images.items(): img_path os.path.join(image_dir, img[file_name]) width, height Image.open(img_path).size lines [f# {img[file_name]}] for ann in annotations: if ann[image_id] ! img_id: continue cat_id categories.get(ann[category_id]) if cat_id is None: continue x, y, w, h ann[bbox] cx (x w / 2) / width cy (y h / 2) / height nw w / width nh h / height lines.append(f{cat_id} {cx:.6f} {cy:.6f} {nw:.6f} {nh:.6f}) label_path os.path.join(output_dir, img[file_name].rsplit(., 1)[0] .txt) with open(label_path, w) as f: f.write(\n.join(lines))转换之后必须做一轮可视化抽查把标注框画回原图确认框的位置和缺陷位置是否对齐。这一步不能省。很多标注转换脚本看着没问题但 COCO 的 bbox 坐标原点和 YOLO 的归一化原点不一致同一张图上一开始的框都是偏的。3.3 编写 dataset.yaml 并划分训练/验证集数据集配置非常直接path: el_dataset train: images/train val: images/val test: images/test nc: 9 names: 0: line_crack 1: star_crack 2: broken_ribbon 3: black_core 4: misalignment 5: thick_line 6: scratch 7: fragment 8: corner_break 9: material_defect提到类别名必须强调一个关键动作类别顺序从 0 开始且和转换脚本里的 categories 索引完全一致不能有错位。不同缺陷的标注类别如果混了模型永远学不对精度再高也白搭。训练/验证集的划分要特别小心。PVEL-AD 这种数据集的图像往往来自不同的组件样品同一个样品的 EL 图像之间高度相似。如果按比例随机划分容易把同一块组件的多张图同时分到训练集和验证集验证分数会虚高部署到新样品上直接掉点。安全的做法是按电池片 ID 或组件批次分文件夹划分保证验证集里的电池片没有在训练集里出现过。4. 一次完整的 YOLOv8 训练实录4.1 训练参数的选择逻辑模型选择上我直接用和缺陷尺度匹配的 YOLOv8m。如果你想快速验证管线可以用 YOLOv8n 跑一个 epoch 看看数据加载有没有问题再切回正经模型。训练命令示例yolo detect train \ datael_defect.yaml \ modelyolov8m.pt \ epochs300 \ imgsz1280 \ batch16 \ device0 \ projectel_train \ namerun1 \ patience80 \ hsv_h0 hsv_s0 hsv_v0 \ scale0.3 \ fliplr0.5 \ fliplr_dir0.0这里几个参数不是随便填的。imgsz 提到 1280 是因为细长缺陷在原始分辨率下才能保留足够特征batch16 是 24GB 显存下的安全值如果你显存紧张可以降到 8并搭配 imgsz960 或换用 YOLOv8sepochs 设 300并搭配早期停止 patience80防止无效训练继续拖时间。pretrained 权重是有意义的YOLOv8m.pt 已经在大规模自然图像上预训练过虽然域不同但低层特征边缘、纹理可以迁移训练也会明显更快收敛。除非是工业项目要求完全从零训练并可视化某些特征否则不建议从头训。yolo predict modelel_train/run1/weights/best.pt sourceimages/test projectel_resultspredict 默认会把结果存到 project 下指定的目录。这一步除了看可视化框还有一个目的检查类别置信度分布看看有没有哪类缺陷置信度极低、哪类背景区域被反复误检。4.2 训练过程的关键观察指标训练过程中不要只看 loss 曲线。YOLOv8 的 loss 曲线下降平滑是基本要求但更关键的是验证集上的 precision、recall、mAP50、mAP50-95。四个指标一起看才能判断模型是偏保守precision 高 recall 低还是偏激进recall 高 precision 低。我在实际训练中观察到EL 缺陷检测的 precision 和 recall 往往是一对矛盾。黑芯类容易高 recall因为暗区域本身就容易被当成缺陷线状裂纹则是高 precision 低 recall因为模型倾向于只召回对比度很明显的裂纹模糊的就漏了。针对这种失衡不能单看 mAP要在类别粒度上一个个看指标找出真正拖后腿的缺陷类型。另外可以用 ultralytics 自带的 confusion_matrix.png。它非常直观地告诉你哪两类缺陷经常被模型混淆。比如我跑的时候发现线状裂纹和划痕的混淆程度很高后来排查下来是标注指南不统一一些原本划痕的样本被标成了裂纹。这种数据噪声问题靠模型调参永远解决不了只能回标。4.3 验证与推理从权重到检测结果的可视化训练完成后eval 命令会输出一个总结表包含每个类别的 AP。这份表比整体 mAP 更有价值。检查思路是如果某个类别的 AP 特别低比如 0.3 以下果断回到数据层找原因观察测试集上的大图效果尤其是有裂纹延伸跨越多个亮度区域的情况看小目标是否漏检可以用 SAHI切图推理进一步验证但注意切图可能把长条裂纹切成几段需要设置足够的 overlap比如 overlap0.3。推理时有一个实际细节EL 图常常带有强非均匀背景图像周围比中心暗或者底部有固定条纹。模型如果只学会“中间亮周围暗”的模式很容易在测试时找不到黑芯。这种情况的解法不是在模型上而是在预处理阶段做平坦场校正或者背景减除。不过这一套要在训练和推理时保持一致不能在训练时用原始图推理时才做校正。5. 缺陷检测场景的调优三板斧预处理、增强与类别平衡5.1 光照归一化和异构背景抑制光伏 EL 图像的背景异构主要体现为两种形式不同组件批次之间的亮度差异以及同一张图像内部的亮度不均匀。对前者我习惯在数据加载阶段做全图归一化到相同均值方差对后者局部对比度增强更有效。CLAHE 是处理 EL 图的一个很实用的工具。和全局直方图均衡化不同CLAHE 把图像切分成小块在每个块内做直方图均衡可以避免整图亮度拉平后暗部细节全丢的问题。实操时可以设置 clip limit 在 2.0—4.0 之间tile grid 用 8x8。效果是裂纹边缘更清晰黑芯边界更分明。但要注意一个问题CLAHE 本身也会把某些噪声区域放大导致模型学到“噪声缺陷”的错误关联。所以建议在验证集上先做对比实验看看加了 CLAHE 之后测试集 mAP 是否真的提升而不是只看训练集的 loss 下降。5.2 针对裂纹/断栅的增强策略细长目标线状裂纹、划痕、断栅的增强策略和普通目标不一样。随机旋转是有效的但你要注意旋转后的目标框会变大。一个狭窄的裂纹旋转 30 度后其外包矩形面积可能膨胀好几倍这会让模型学到的位置信息变得模糊。更好的做法是限制旋转角度比如让 rotate 在小范围内或者用较小 scale 的仿射变换让细长缺陷随机轻微抖动而不是完全旋转。另一个可行增强是 Cutout 或者 Erasing。EL 图像中背景亮区和暗区都很常见挖掉一部分可能模拟缺陷被背景遮挡的真实情况。但不要过度否则模型会倾向于把暗区全判成缺陷。实际经验是Cutout 的概率控制在 0.3 以下比较安全。Mosaic 增强在 YOLOv8 里默认开启。它把四张图拼接在一起能显著提高模型对复杂背景的鲁棒性。不过在 EL 缺陷场景中Mosaic 会缩小每个目标的尺度原本就小的裂纹在拼接图上变得更小可能导致早期训练时梯度信号不稳定。如果数据量充足我建议在训练的后半段关闭 Mosaic只保留轻量增强。ultralytics 支持关闭最后一个 epoch 的 Mosaic可以在配置里把 close_mosaic 调高比如 close_mosaic10意思是最后 10 个 epoch 关闭 Mosaic。5.3 类别不平衡的处理与多尺度检测PVEL-AD 的类别分布是不均匀的。黑芯、碎片这类缺陷可能样本很多而断角、未对准、粗线这类可能样本很少。直接训练模型会把稀缺类别直接忽略掉。处理办法有几个维度。简单实用的是在损失函数上做类别加权。ultralytics 没有直接的 per-class weight 参数需要自己改 loss 或者在数据层面处理。常见做法是对类别样本数取倒数作为权重也可以对低频类别做简单的重采样比如复制低频样本并在增强中加大随机平移和亮度的变化量避免简单复制导致的过拟合。更稳妥的做法是在数据收集阶段想办法补样本。比如 PVEL-AD 中某类缺陷少但其他公开 EL 数据集里可能有同类缺陷可以合并标注。注意合并时类别定义必须统一否则会引入标注噪声。多尺度检测方面除了提高输入分辨率还可以在推理阶段使用 TTA测试时增强包括多尺度缩放和左右翻转。TTA 对细长目标的召回提升比较明显我跑过的数据集开启 TTA 后小目标 recall 通常能提高 2—4 个百分点。代价是推理时间翻几倍产线实时检测时不一定能接受但做离线复检完全没问题。6. 训练中的坑与排查速查表6.1 常见问题速查表我把实际调试中遇到的典型问题整理成一张速查表配合排查思路比零散地说经验更有用。现象可能原因排查方向训练 loss 先降后升学习率过大或数据增强过强检查 lr 曲线关闭部分增强降低 lr 到 1e-3 量级验证 mAP 低于预期训练/验证划分泄漏类别错标按电池片 ID 重新划分随机抽 200 张可视化标签小目标裂纹、划痕漏检严重输入分辨率过低目标尺度过小imgsz 提到 1280推理时用 SAHI 切图TTA黑芯被大量误检为背景暗区对比度不足模型把亮度当唯一特征CLAHE 预处理增加亮暗边界清晰度线状裂纹和划痕混淆标注标准不一致几何形态相近统一标注指南把细长类类别定义细化类别中存在大面积背景误检背景亮度不均模型学过头了检查增强参数尤其是 Mosaic减少 Cutoutloss 出现 NaN标注框退化或学习率过高检查 txt 中是否存在 w/h 为零降低 lr推理速度太慢imgsz 太大TTA 开启压缩分辨率到 960导出 TensorRT关闭 TTA迁移预训练效果差域差异过大预训练特征不适用从小 lr 起步冻结前几层或直接用随机权重这张表不是万能的但它覆盖了我遇到的大部分问题。读者如果遇到表外的情况有一个通用排障顺序先检查数据是否干净再做消融实验逐个关闭增强最后才动模型结构。数据的问题占了一半以上。6.2 一次过拟合案例的排查记录说一下我实际碰到的一个典型案例。第一次在 PVEL-AD 上训练时训练集 mAP 高到 0.95验证集却只有 0.6 出头典型的过拟合信号。排查过程分三步。第一步检查数据划分。发现之前按文件顺序随机划分时同一个组件的多张图同时落入训练和验证。修正为按组件分组划分后验证指标仍然偏低但提升有限。第二步看数据量。这是一个相对小的数据集模型复杂度远高于样本复杂度。把模型从 YOLOv8m 降到 YOLOv8s验证集 mAP 提升了 3 个百分点左右。这验证了一个观点在少量 EL 图像上模型参数越多过拟合越严重不是越大的模型越好。第三步调增强和正则化。把 hsv 全关、scale 减小保留 Mosaic 和翻转同时把 mixup 关闭验证 mAP 又涨了几个点。最后我还在 loss 权重上加了轻微的正则项但效果不大说明主要瓶颈已经不再模型侧而是数据多样性的问题。这个案例给我的教训是当训练和验证分数差距过大时不要急着改模型结构先回顾数据划分方式和样本多样性。工业缺陷检测往往没有海量数据模型复杂度要用数据量反推而不是追求最深的网络。7. 一点额外的实操心得最后分享几条个人体会。EL 图像的质量直接影响模型上限训练前最好做一遍坏图清洗。有些 EL 图本身是过曝的、断笔的或者拍摄时有水渍、电缆影子干扰的这类图会让模型学到一些奇怪的模式。清洗成本很低收益却很直接。标注规范和沟通成本在缺陷检测场景里被严重低估。同一个“裂纹”有的人标注为星状裂纹有的人标注为线状裂纹还有的人干脆归到材料缺陷。这种标注不一致造成的噪声靠数据处理根本去不掉。如果你是项目负责的人花时间写一份带示意图的标注指南比多训练十轮效果都明显。关于后续扩展EL 缺陷检测其实有三个值得继续挖的方向一是用半监督手段利用大量未标注 EL 图这对产线场景非常友好二是把缺陷检测和电池片电性能数据比如效率、功率衰减关联起来做缺陷分级而不是二分类三是在推理端把模型导出成 TensorRT 后再做一次小样本校准工业部署时能减少不少置信度偏差。从拿到 PVEL-AD 数据集到跑出一个可用的检测模型整个链路看着不复杂但每个环节都有不少细节。希望这篇能把你在数据转换和模型调参上的弯路省掉一些。
