简介这份数据集聚焦三星油污缺陷检测场景以头发丝状缺陷和小黑点状缺陷两类目标为核心共收录六百六十幅真实工业采集图像覆盖正常样本与缺陷样本适合用于基于深度学习的目标检测模型训练、验证与迁移学习尤其适用于半导体、精密制造等对缺陷定位精度要求较高的外观质检任务。压缩包内共含一千三百二十四个文件其中六百六十个XML标注文件与六百六十张JPG原图一一对应标注文件记录目标类别与边界框位置另有四个TXT文件提供类别列表或数据划分说明整体大小约314.54MB可直接接入YOLO、Faster R-CNN等主流目标检测框架。这份数据集已有一千四百一十二人浏览学习面向具备一定目标检测基础的算法工程师、科研人员与高校学生。借助完整标注读者可快速搭建基线模型开展数据增强、超参数调优以及精度提升对比实验也可结合作者博客中的优化思路进一步扩展小目标检测效果与模型鲁棒性。1. 660张油污缺陷图能做出能用的分类模型吗先说结论某屏幕模组项目的产线检测环节AOI设备拍回的图像里经常出现两类油污缺陷一类是头发丝细长丝状脏污多来自擦拭布纤维或手指带起的油痕另一类是小黑点点状凝集的油污大小从几个像素到几十像素不等。原始数据集只有660张看起来少得可怜但先别急着否定如果目标只是区分“正常 / 头发丝 / 小黑点”这三类这批数据完全够起步。关键在于数据划分和迁移学习怎么做方法对了小样本照样能训练出一个可上线的分类模型方法错了验证集准确率再高到了产线也会翻车。这篇笔记就从数据打理讲到训练参数再讲到验证技巧整个过程按一线实操路径来走新手能跟着复现熟手可以直接对照参数和避坑清单。2. 打理这660张数据头发丝与小黑点的划分、标注策略和增强边界2.1 先摸清头发丝和小黑点的真实分布再划线拿到660张图第一件事不是选模型而是把数据底账盘清楚。常见做法是写个脚本遍历所有样本统计每类数量、图像尺寸、缺陷大概出现的区域。我一般会把统计结果打印成一个表格重点看两个数字头发丝和小黑点各占多少张以及有没有“一张图里同时出现两种缺陷”的样本。这个信息直接决定后面是二分类还是三分类。如果产线只关心“有没有油污”那二分类就够了头发丝和小黑点可以合并成一类如果缺陷后续要分流处理比如头发丝需要返工擦拭、小黑点需要判定是否影响显示那就必须做三分类。660张做三分类也够但有一个硬性建议每个类别最好不低于150张。假设你数完发现头发丝320张、小黑点220张、正常120张这个分布可以做三分类如果小黑点只有60张那最好先合并成“有缺陷 / 无缺陷”二分类或者去产线再补拍一批小黑点样本而不是强行让模型区分一个样本量严重不足的类别。还有一种情况经常被忽略同一张图里既有头发丝又有小黑点。这种样本在分类任务里会干扰标签定义我建议单独挑出来归入“混合油污”类或者干脆从训练集剔除避免模型在训练时学到互相矛盾的映射。这时候人工看图虽然费时间但比模型学错特征之后再返工便宜得多。2.2 分训练/验证/测试集按来源分组而不是随机切这是660张小样本项目里最容易被低估的一步。很多人直接使用随机划分把660张按7比2比1切成训练、验证、测试集表面上看没问题但实际生产中同一片区域的多帧图像往往高度相似甚至是从连续视频帧里截出来的。如果这些相似图像一部分进了训练集、一部分进了验证集模型其实是在“背答案”验证集准确率会虚高产线上一跑真实缺陷就露馅。我一般会按“来源批次”分组切分也就是先按关拍摄时间、机台编号或者批次ID把样本分组再整组分配到训练、验证、测试集。这样可以保证验证集里的图像和训练集里的图像在拍摄条件上有真正的差异。分组后切分的代码可以参考下面这个脚本。import os import random import shutil from collections import defaultdict root_dir oil_stain_dataset groups defaultdict(list) # 假设文件名格式为 batch_001_img_003.jpg按 batch 号分组 for fname in os.listdir(root_dir): if fname.endswith(.jpg): batch_id fname.split(_)[1] groups[batch_id].append(fname) group_ids list(groups.keys()) random.shuffle(group_ids) # 按 70/20/10 划分批次而不是按单张图片划分 n_train int(len(group_ids) * 0.7) n_val int(len(group_ids) * 0.2) train_groups group_ids[:n_train] val_groups group_ids[n_train:n_train n_val] test_groups group_ids[n_train n_val:] for split_name, selected_groups in [ (train, train_groups), (val, val_groups), (test, test_groups), ]: out_dir os.path.join(split, split_name) os.makedirs(out_dir, exist_okTrue) for g in selected_groups: for fname in groups[g]: shutil.copy( os.path.join(root_dir, fname), os.path.join(out_dir, fname) )这段代码的关键是按批次 ID 整组划分而不是对单张图片做随机采样。好处是避免同源图像跨集合泄漏尤其适合工业质检里同一批次样本光照、角度都高度相似的场景。划分比例上我习惯用 70/20/10而不是常规的 80/10/10因为小数据集里验证集的波动本来就大验证集多留一点早停判断会更稳。如果发现某个批次里两种缺陷比例极度不均衡比如一个批次全是头发丝可以把这个批次整体划入训练集再从其他批次里匀一些小黑点进验证集保证验证集保留两类缺陷的代表性。2.3 增强参数怎么设细长缺陷最怕被截断数据增强是小样本项目的救命稻草但油污缺陷有特殊性头发丝是非常细长的线状结构小黑点是紧凑的斑块。这两类对增强操作的敏感度完全不同。头发丝最怕随机裁剪把丝截断。PyTorch 的 RandomResizedCrop 默认 scale 范围是 0.08 到 1.0对小样本来说太激进裁剪出来的区域很可能只截到头发丝的一段模型会以为“短线段”也是完整缺陷。我一般把 scale 设到 0.5 到 1.0保证裁剪后缺陷主体基本完整。旋转角度控制在 ±15 度角度太大会让丝状结构扭曲得不像真实缺陷。小黑点本身形态简单平移、裁剪、轻微旋转都不影响语义但它最怕被 RandomErasing 这样的操作直接抹掉。很多开源项目默认会加 RandomErasing但在油污检测场景里把小黑点擦掉就等于把正样本改成负样本模型会被带偏。我的习惯是彻底关掉 RandomErasing或者把概率压到 0.1 以下并且只擦除背景区域。下面是一组我常用的增强参数可以直接照抄进训练脚本。增强操作推荐参数说明RandomResizedCropscale[0.5, 1.0], size224保护头发丝完整性RandomRotationdegrees[-15, 15]角度太大会扭曲丝状形态ColorJitterbrightness0.2, contrast0.2模拟不同光照下的油污差异RandomHorizontalFlipp0.5通用增强安全RandomVerticalFlipp0.5通用增强安全RandomErasing关闭或 p0.1擦除小黑点会污染标签增强不是越多越好。660张的小数据集增强的目的是模拟真实拍照条件的变化而不是把图变得花哨。建议在调参前先用一批不增强的数据训练一个基线再逐步加增强每次只对比验证集准确率有没有实际提升。3. 选型先分类验证可行性再谈检测与定位3.1 为什么660张不适合直接上目标检测很多人看到“油污缺陷”第一反应就是上目标检测用 YOLO 系列框出头发丝和小黑点的位置。这个想法在数据量充足时没错但放到660张的规模上问题很明显。头发丝是细长丝状标注框需要拉得很长才能包住整根丝框里绝大部分区域是正常背景模型学到的更多是“框内有根线”而不是“线具体在哪里”。小黑点则相反只有几个像素大小在检测任务里属于小目标对特征分辨率要求高小样本下很难训练出稳定的检测头。所以我一般会建议先用分类模型验证这批数据的可学性。分类任务只需要判断“这张图里有没有油污是哪一种”不需要框位置模型复杂度低得多660张完全喂得饱。而且分类结果本身就是产线最关心的信息。先做分类还有一个实际收益如果分类模型在验证集上准确率一直上不去说明数据本身有问题比如标签乱、缺陷特征不明显这时候去做检测只会更糟。3.2 迁移学习基线轻量预训练模型的取舍小样本深度学习最忌讳从头训练。660张图远远不够训练一个深度卷积网络必须用 ImageNet 预训练权重做迁移学习。选什么骨干网络也有讲究我常用的基线是 ResNet18、EfficientNet-B0、MobileNetV3-Small全部是轻量级网络参数量在几百万级别。相比之下ResNet50 参数量 2500 万以上在 660 张数据上基本必过拟合Vision Transformer 这类需要海量数据预训练加微调的架构小样本下收敛慢且不稳定也不推荐。三个基线里我最常用 EfficientNet-B0。它在 ImageNet 上的精度高于 ResNet18参数规模又小于 ResNet50对油污这种纹理性强的缺陷特征提取比较友好。MobileNetV3-Small 适合要部署到边缘设备的情况精度会略低一点但推理速度快现场验证方便。微调策略上我习惯分两步走第一阶段冻结骨干网络只训练分类头用较小的学习率跑 10 轮左右第二阶段解冻最后两到三个 block用更低的学习率全参微调。这样既避免特征被破坏又让模型能适应油污域的特殊纹理。3.3 常见误用与合理的后续扩展这个环节值得单独说因为我在实际沟通中经常看到同类误用。第一个误用是“小样本直接上 YOLO”。YOLO 确实能训练但训练出来的模型大概率对头发丝这种细长目标漏检严重验证集 mAP 低调试成本远高于分类方案。第二个误用是用大模型加粗暴的数据增强硬扛过拟合扛不住就加更多增强最后增强把缺陷特征都冲淡了。第三个误用是完全不微调直接把预训练模型当特征提取器分类头换成自己的一层然后只训练分类头。这种做法在医学影像等域差距大的场景偶尔好用但油污缺陷纹理和自然图像差异也很大冻结全部骨干往往学不到油污特有的细丝和斑块特征精度上限很低。合理的路径是先分类、后定位。分类模型跑通后再采集更多带位置标注的数据积累到 2000 张以上转用分割网络做缺陷区域分割或者用带 FPN 结构的轻量检测模型。660 张阶段硬做定位不是不行但投入产出比很低。4. 训练配置与参数让模型学到油污而非噪点4.1 最小可复现训练脚本这一节直接给一个可跑的 PyTorch 训练脚本模型用 EfficientNet-B0数据集按照第 2 章划分好的目录结构存放。代码里每一段关键逻辑都加了注释方便对照修改。import torch import timm from torch import nn from torch.utils.data import DataLoader from torchvision import datasets, transforms from torch.optim import AdamW # 数据增强按第2章的参数表配置 train_transform transforms.Compose([ transforms.RandomResizedCrop(size224, scale(0.5, 1.0)), transforms.RandomRotation(degrees(-15, 15)), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.RandomHorizontalFlip(p0.5), transforms.RandomVerticalFlip(p0.5), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) val_transform transforms.Compose([ transforms.Resize(size256), transforms.CenterCrop(size224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) train_ds datasets.ImageFolder(split/train, train_transform) val_ds datasets.ImageFolder(split/val, val_transform) # 加权采样根据每类样本数计算权重 class_counts torch.tensor([len(train_ds.targets) for _ in range(3)]) class_weights 1.0 / (class_counts.float() 1e-6) weights class_weights[torch.tensor(train_ds.targets)].float() sampler torch.utils.data.WeightedRandomSampler( weights, num_sampleslen(weights), replacementTrue ) train_loader DataLoader(train_ds, batch_size16, samplersampler, num_workers4) val_loader DataLoader(val_ds, batch_size16, shuffleFalse, num_workers4) # 迁移学习加载预训练权重替换分类头 model timm.create_model(efficientnet_b0, pretrainedTrue, num_classes3) model.train() # 第一阶段冻结骨干只训练分类头 for param in model.parameters(): param.requires_grad False for param in model.classifier.parameters(): param.requires_grad True optimizer AdamW(filter(lambda p: p.requires_grad, model.parameters()), lr1e-3, weight_decay1e-4) criterion nn.CrossEntropyLoss(label_smoothing0.1) # 第二阶段使用的低学习率在第10轮后切换 def set_lr(optimizer, lr): for g in optimizer.param_groups: g[lr] lr best_acc 0.0 for epoch in range(30): total_loss 0.0 for images, labels in train_loader: optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() # 第10轮后解冻最后两个block降学习率微调 if epoch 9: for param in model.parameters(): param.requires_grad True set_lr(optimizer, 1e-4) # 验证集评估 model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in val_loader: outputs model(images) preds outputs.argmax(dim1) correct (preds labels).sum().item() total labels.size(0) acc correct / total print(fepoch {epoch1}, loss {total_loss:.4f}, val acc {acc:.4f}) if acc best_acc: best_acc acc torch.save(model.state_dict(), oil_stain_best.pt) model.train()脚本核心逻辑分三块数据加载、加权采样、分阶段微调。数据加载部分要注意路径结构ImageFolder 要求 train 和 val 目录下按类别建子目录这是最省事的读数据方式。加权采样是很关键的一步当头发丝和小黑点数量不均衡时直接随机采样会导致模型偏向大类用 WeightedRandomSampler 让小类被抽到的概率提高能明显改善小类召回率。分类头替换成num_classes3对应三类输出如果业务只需要二分类改成 2 即可。分阶段微调是这个脚本最值得借鉴的地方。前 10 轮只训练分类头让新分类头先适应预训练特征第 10 轮后解冻全网络把学习率降到 1e-4让骨干特征向油污域偏移。这种做法的核心思想是刚开始就全参微调预训练特征很容易被 660 张小样本带偏分阶段可以让模型稳定落地到一个较好的局部最优。4.2 学习率、批次与轮次的设定逻辑小样本训练里学习率是最敏感的参数。我默认用 1e-3 作为第一阶段学习率这个值基于预训练模型微调的经验值。第二阶段降到 1e-4因为此时骨干参数刚开始更新过大的学习率会把预训练特征冲毁。如果发现训练 loss 震荡明显建议先降到 5e-4 再跑一遍而不是去调模型结构。批次大小方面16 是 660 张数据的安全选择。批次太小BatchNorm 统计不稳定批次太大比如 64小数据集下一轮迭代次数太少模型还没看够样本就过拟合了。轮次我设了 30但真正的早停机制靠验证集判断不是等 30 轮跑完。可以加一个早停逻辑连续 8 个 epoch 验证集准确率没有刷新就终止训练。660 张数据过拟合很快通常在第 15 到 25 轮之间就能看到验证集波动。![训练参数速查表]参数推荐值说明输入尺寸224x224平衡细长缺陷完整性与计算量batch size16小数据下稳定 BatchNorm第一阶段 lr1e-3只训练分类头时的安全值第二阶段 lr1e-4全参微调时避免破坏预训练特征weight decay1e-4正则化抑制过拟合label smoothing0.1缓解训练集标签噪声早停 patience8防止无效训练浪费时间4.3 类别不平衡时如何让两种缺陷都被学到油污数据集里两类缺陷数量经常不平衡比如头发丝 320 张、小黑点只有 180 张差距不算极端但已经足以让模型偏向头发丝。除了脚本里用的加权采样还可以在损失函数层面做文章。CrossEntropyLoss 支持直接传weight参数把小黑点类的权重提到 1.5头发丝类保持 1.0等价于让模型更重视小黑点的分类错误。不过要提醒一句类别权重不能设得太大否则模型会过度拟合小黑点的细节在正常样本上产生更多误检。我很少把权重超过 2.0除非某一类样本少于另一类的一半。还有一个容易被忽略的细节加权采样和损失函数权重不要同时用很大强度否则正样本被过度强调训练曲线反而会不稳定。二选一即可脚本里用的加权采样在多数情况下已经够用。标签平滑在小样本场景值得开它可以把 one-hot 标签软化减少模型对训练集中一些错误标注的过度自信。油污缺陷的人工标注本身存在灰度地带尤其是那些“刚形成的小油痕”标签平滑能从优化目标上降低这种不确定性带来的影响。设为 0.1 是常见做法不会明显损害精度还能让模型输出的概率分布更平滑方便后续设置判定阈值。5. 油污缺陷训练避坑记录过拟合与误检的5个案例5.1 头发丝被当成背景纹理现象训练了 20 轮验证集准确率到了 92%但把几张正常的屏幕纹理图送进去模型有 30% 的概率把它们判成头发丝。看了 Grad-CAM 的热力图才发现模型高亮区域根本不在缺陷位置而是集中在整个图像的像素阵列纹理上。原因屏幕本身有规则的点阵或栅格纹理和头发丝在频域上都是高对比度图案。训练集里如果恰好有大量背景纹理清晰但无缺陷的负样本模型会偷懒直接拿背景纹理当作分类依据。解决在负样本里增加了 60 张带强纹理、但人工确认无缺陷的图。同时修改增强策略把 ColorJitter 的对比度扰动加大到 0.25迫使模型不能只依赖静态纹理。最关键的一步是检查训练集里“背景纹理无缺陷”组合是否够多不够就回产线补拍。5.2 小黑点与正常噪点混淆现象小黑点这类召回率只有 70%大量小黑点被漏报而正常样本里一些灰尘颗粒、微小气泡反而被报成小黑点。把预测错误的图片逐一翻出来发现被漏报的小黑点普遍偏小只有 3 到 5 个像素。原因模型学到的“小黑点”特征里混入了环境噪点特征比如光源反射造成的暗点。标注时只关注了形态没有区分“真正的油污”和“看起来像的杂质”导致正负样本边界模糊。解决重新制作了小黑点的标注规范给标注人员出示了一组典型负例明确边缘模糊、高光居中、形状不规则的暗点不算油污。同时用这些负例单独组成一个“难例验证集”每次训练完都跑一遍专门看误检率有没有下降。5.3 验证集准确率很高现场一试就翻车现象660 张按随机切分后训练验证集准确率 94%乐观地部署到产线试运行第一天误报率就超过 40%现场基本没法用。同类油污在产线新机台上的表现和训练集完全不同模型就像变成了另一个模型。原因随机切分导致同一批次出图的相似图像同时进了训练集和验证集模型记住了具体批次的纹理特征和光照条件不是通用的油污本质。新机台的光照角度、相机增益一变化模型就失效。解决这是我最深刻的一次教训。后来把数据划分改成按批次整组切分并且从另一个机台补拍了 100 多张图像专门做跨场景测试模型准确率跌到 88%但至少是真实水平。从那以后小样本项目一律先确认数据来源分组再谈训练。5.4 增强过度把油污样本增强没了现象为了提高泛化能力我把增强开得很猛RandomResizedCrop 的 scale 改成 0.2还加了 RandomErasing p0.5。训练 30 轮后验证集准确率反而比弱增强时低了 6 个百分点特别是头发丝类几乎全是漏报。原因scale 0.2 意味着裁剪区域可以只有原图的一小部分头发丝经常被截断模型学到的是“半截丝”。RandomErasing 直接把很多小黑点擦除正样本变成负样本标签被污染。解决回退到第 2 章参数表里的保守增强设置关闭 RandomErasing。这里要认清一个现实660 张数据上增强的角色是模拟光照和角度变化而不是制造新的缺陷形态。想用增强弥补数据量不足是这条路里最大的玄学误区。5.5 标注不一致两种缺陷的边界漂移现象第一次标注的数据集里同一张图被两个标注人员分别标成“头发丝”和“小黑点”原因是有一处油污既呈细长状末端又有斑点凝集。训练时这个样本被强制归为一类模型的分类边界被拉偏验证集上两类之间的混淆持续存在。原因标注规范里没有定义“混合形态”怎么处理也没有给出边界案例的判定规则。头发丝和小黑点在物理成因上本来就可能叠加。解决在数据准备阶段增加了标注复核环节把两类标签争议大的样本单独抽出来人工讨论后统一归入一个更合理的类。我在规范里明确了一条如果细长和点状同时存在且区域重叠统一归为“混合油污”单独建类实在没有条件就做二分类不细分这两类。660 张数据的项目标签一致性对最终模型准确率的影响大于绝大多数模型调参技巧。6. 用Grad-CAM和硬样本集确认模型看的是油污训练结束不代表完成模型准确率达到 90% 以上仍要确认它“看”的是不是油污本身。我的习惯是每次训练完都跑一次 Grad-CAM把热力图叠加到测试集图像上肉眼检查模型的高亮区域。如果高亮区域和人工标注的缺陷位置吻合模型学到的特征才是真正的油污如果高亮区域落在背景纹理或边缘上说明训练过程有偏差需要回头查数据。Grad-CAM 的简版实现可以按下面代码来跑。import torch import timm import cv2 import numpy as np from torchvision import transforms model timm.create_model(efficientnet_b0, pretrainedTrue, num_classes3) model.load_state_dict(torch.load(oil_stain_best.pt, map_locationcpu)) model.eval() def grad_cam(img_path, layer_nameconv_head): img cv2.imread(img_path) img_rgb cv2.cvtColor(img, cv2.COLOR_BGR2RGB) transform transforms.Compose([ transforms.ToPILImage(), transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) input_tensor transform(img_rgb).unsqueeze(0) # 注册 hook 拿到目标层梯度与输出 target_layer model.get_attention_layer if hasattr(model, get_attention_layer) else None # 不同 timm 版本的 target_layer 名称不同这里按 conv_head 处理 activation {} def forward_hook(module, input, output): activation[value] output.detach() def backward_hook(module, grad_input, grad_output): activation[grad] grad_output[0].detach() layer model.conv_head fh layer.register_forward_hook(forward_hook) bh layer.register_full_backward_hook(backward_hook) output model(input_tensor) pred output.argmax(dim1).item() model.zero_grad() output[0, pred].backward() grads activation[grad] # [1, C, H, W] acts activation[value] # [1, C, H, W] weights grads.mean(dim(2, 3), keepdimTrue) cam (weights * acts).sum(dim1, keepdimTrue).squeeze() cam torch.relu(cam) cam cam / (cam.max() 1e-6) fh.remove() bh.remove() cam cam.numpy() cam cv2.resize(cam, (img.shape[1], img.shape[0])) heatmap cv2.applyColorMap(np.uint8(255 * cam), cv2.COLORMAP_JET) overlayed cv2.addWeighted(img, 0.6, heatmap, 0.4, 0) cv2.imwrite(cam_output.jpg, overlayed) grad_cam(test_samples/example_021.jpg)这段代码从加载模型到输出热力图覆盖图核心逻辑分为两步先注册 hook 拿到最后一个卷积层的特征和梯度再用全局平均池化算出每个通道的权重加权求和得到 CAM。需要说明的是不同 timm 版本里 EfficientNet-B0 最后一层名字可能略有差异有的版本是conv_head有的版本是get_attention_layer跑之前先打印一下模型结构确认层名。除了 Grad-CAM还要构建一个硬样本集。从产线收集两类图像一类是“看起来像缺陷但实际正常”的图比如背景纹理强、有小灰尘颗粒另一类是“缺陷很小但确实存在”的图比如只有三五个像素的油点。这些图不进训练集专门用来检验模型上线后的表现。60 到 80 张就够每次模型迭代后在硬样本集上跑一遍记录误检率和漏检率。比验证集准确率更能反映真实水平。最后关于判定阈值。很多项目直接拿 0.5 当分类阈值但对油污这种类别边界清晰度不高的任务我更推荐看置信度分布。把验证集里正常样本和缺陷样本的模型输出置信度分别画出来如果正常样本普遍在 0.85 以上、缺陷样本集中在 0.4 到 0.7那阈值可以设到 0.75能明显压低误报。这个操作不需要重新训练只是调整部署脚本里的判断逻辑却常常能让现场误报率降一半。这类小样本项目走到最后拼的不是模型结构多新而是对数据的理解有多深。我第一次做类似项目时直接随机切分了全部 660 张数据训练时验证集准确率喜人上线一周就被现场反馈淹没。后来按批次分组、做 Grad-CAM 验证、建硬样本集才把误报率压到可接受范围。这套流程踩过的坑希望这篇笔记能帮你绕过去。本文还有配套的精品资源点击获取
