简介这是一套面向YOLO目标检测实战的红蚂蚁数据集共包含一万张真实场景图片经专业工具精细标注场景丰富且标注框质量高可直接用于算法训练和课程项目。压缩包内共有两千个文件以一千九百八十六个XML标注文件为主同时涵盖VOC、COCO、YOLO三种格式标签另提供Python划分脚本、HTML版环境搭建与训练教程整体体积约为四百零八MB目录结构清晰便于快速定位所需资源。配套脚本支持自由划分训练集、验证集和测试集教程覆盖Windows与Linux双系统平台可引导读者从零搭建YOLO目标检测环境并训练自定义数据集显著降低数据准备和上手指门槛。目前已有一百三十六人学习下载适合需要高质量真实标注数据与完整训练指引的目标检测初学者及研究者。1. 红蚂蚁目标检测数据集到底能干什么从训练到部署的整条链路朋友接了个农业植保的活要在田间照片里把红蚂蚁数出来。他第一批图自己手标了三百多张丢进YOLO训练验证集里框全是歪的小蚂蚁和背景糊成一片。后来换用这份红蚂蚁目标检测数据集——10000张真实场景图VOC、COCO、YOLO三种格式标签全部备齐划分脚本和训练教程一块打包——三天内就调出一个能用的检测模型。这就是它最直接的用途不用自己写格式转换脚本不用一张张核对标注坐标图片、标签、划分、训练整条链路都是通的。它适合三类人想跑通YOLO完整流程的新手做农业视觉项目需要现成底料的一线工程师以及做算法对比实验、需要一个干净数据集支撑论文的从业者。2. VOC、COCO、YOLO三套标签怎么选结构差异与切换成本拿到一份目标检测数据集最先要搞清楚的不是模型而是标签格式。同一个框在三种格式里写出来完全不一样VOC是每个目标一个object节点、坐标写绝对像素值COCO是全部塞进一个json文件框用[x, y, w, h]表示YOLO则是一个txt一行一个目标坐标全部归一化成0到1的小数。选择不对训练脚本会在数据读取阶段就直接报错而且报错信息往往很隐晦。下面把这三种格式摊开对比说清楚每种格式的存储方式和适用场景再给一个选型建议。2.1 三种格式的目录与文件组织方式VOC格式是“目录里套目录”这套组织方式源自Pascal VOC比赛后来成了目标检测的通用约定VOCdevkit/ ├── JPEGImages/ # 图片命名如 000001.jpg ├── Annotations/ # 同名XML命名如 000001.xml └── ImageSets/ └── Main/ # train.txt、val.txt、test.txt只写不含扩展名的文件名JPEGImages放原始图片Annotations放标注文件ImageSets/Main下放的是划分列表每个txt里只有文件名不带.jpg也不带.xml。训练时框架拿着文件名去两个目录里各自找图、找标签。这样的好处是图片和标签物理分离坏了只要换一张图不用动标注目录。COCO格式走的是“大清单”路线不再用目录结构而是把所有标注集中到一个json文件里dataset/ ├── images/ # 所有图片 └── annotations/ ├── instances_train.json └── instances_val.jsonjson文件里同时记录图片信息、目标信息和类别信息一份文件就是一个完整数据集。它的好处是分发方便坏处是文件大十万张图配一个json能到几百MB解析起来比读xml慢。YOLO格式是近几年的主流因为YOLO系训练脚本只认这种组织方式dataset/ ├── images/ # 图片命名如 000001.jpg └── labels/ # 同名TXT命名如 000001.txt每个txt和图片同名一行描述一个目标文件和文件一一对应。训练时脚本看到images下的图就去labels下找同名txt找不到就跳过这张图。三种格式的核心差异可以收进一张表维度VOCCOCOYOLO存储形态图片、XML、划分txt分目录图片目录单个json图片目录同名txt坐标形式绝对像素 xmin、ymin、xmax、ymax绝对像素 x、y、w、h归一化 x_center、y_center、w、h标注单位一张图一个XML整份数据一个json一张图一个TXT常见框架SSD、早期Faster R-CNNmmdetection、Detectron2YOLO全系列2.2 什么时候用哪套格式这个选择其实不复杂按训练框架倒推就行。如果你打算跑YOLOv5、YOLOv8这类模型直接用YOLO格式的txt训练脚本里data.yaml的train和val路径指到images目录框架会自动去同名labels目录里找标注。这时候你手里如果有VOC或COCO反而要先转一次才能训。如果你做的是对比实验要在一个框架里把Faster R-CNN、Cascade R-CNN、YOLO全跑一遍我建议统一用COCO格式。mmdetection这类工具箱的coco接口最成熟VOC接口虽然也有但很多老接口在类别id处理上有历史包袱。COCO格式里的category_id是显式指定的不容易出现类别错位。如果你在跑的是老代码、老权重比如基于Pascal VOC训练的SSD那就保持VOC格式别动。老代码往往把VOC的目录结构写死你改了反而要改代码。一句话总结新项目优先YOLO或COCO旧代码用VOC不折腾。2.3 同一份数据存三份为什么值得有些朋友会觉得一份数据存三份是浪费空间其实不然。标注是整个目标检测链路里最贵的一环一分钟标一个框一千张图就是十几个小时的枯燥劳动。转换脚本虽然能自动把VOC转成YOLO但转换过程中最容易出问题的环节是坐标换算归一化时除的是宽还是高、中心点坐标是相对于左上角还是右下角写错一个变量训练出来就是一批歪框。而你用手在Photoshop或labelimg里重新标注一遍代价更大。所以一份数据给三份格式本质上是把最容易出错、最费时间的那一步替你做了。你要做的只是确认文件路径没写错直接开训。3. 解析标签文件的真实结构xml、json、txt里的每个字段有了基础认知后直接去读文件字段是最快建立手感的方式。这一章按VOC到COCO到YOLO的顺序逐个拆最后给一段“txt反算像素坐标画框”的验证代码这一步在数据清洗时能救你很多次。3.1 XML里最关键的object节点用labelimg标注后导出的VOC XML结构是固定的核心长这样annotation folderJPEGImages/folder filename000001.jpg/filename size width1920/width height1080/height depth3/depth /size object namered_ant/name bndbox xmin824/xmin ymin410/ymin xmax942/xmax ymax486/ymax /bndbox difficult0/difficult /object /annotationsize里的宽高是原图的像素尺寸bndbox里的四个值是目标框在整张图上的绝对像素坐标左上角为原点。xmax减去xmin就是框的宽度ymax减去ymin就是框的高度这两个数值后面转成YOLO格式时要反复用到。difficult字段表示这个目标是否难以辨认训练时如果按默认参数difficult为1的样本会被丢弃或降权转格式时如果脚本没处理这个字段容易产生脏数据。一份数据里如果有多个蚂蚁XML里就会出现多个object节点每个节点独立一组框。解析XML时用root.findall(object)遍历别只取第一个。3.2 COCO的json三个顶层数组COCO格式的json由三个顶层数组组成分别是images、annotations、categories。images记录图片的宽高和文件名annotations记录每个目标框的坐标和类别categories记录类别id和类别名的对应关系{ images: [ {file_name: 000001.jpg, height: 1080, width: 1920, id: 1} ], annotations: [ {id: 1, image_id: 1, category_id: 1, bbox: [824, 410, 118, 76], area: 8968, iscrowd: 0, segmentation: []} ], categories: [ {id: 1, name: red_ant} ] }bbox四个值分别是左上角x、左上角y、框宽、框高area是框的面积数值上等于宽乘高。segmentation在labelimg导出时通常是空列表因为矩形框没有多边形点集纯框检测不受影响但如果你的评估代码要算mask相关的指标拿不到segmentation就会出问题这是用labelimg导COCO的两个已知短板之一。另一个短板是iscrowd字段labelimg默认写0表示这个目标是否被其他目标遮挡0就是没有被遮挡。3.3 txt归一化坐标与像素坐标互转验证YOLO的txt里只有五个数字一行一个目标格式是类别id 中心点x 中心点y 框宽 框高前四个是归一化到0到1的小数。很多初学的人直接拿这五个数字画框结果框全聚在图左上角就是因为没乘回原图宽高。下面的脚本能把txt里的归一化坐标反算成像素坐标并画出来是验证标注质量最直接的手段import cv2 img_path images/000001.jpg txt_path labels/000001.txt img cv2.imread(img_path) h, w img.shape[:2] # 注意顺序shape返回的是高、宽不是宽、高 with open(txt_path, r, encodingutf-8) as f: for line in f: parts line.strip().split() if len(parts) ! 5: continue class_id, x_center, y_center, bw, bh parts x_center, y_center, bw, bh map(float, (x_center, y_center, bw, bh)) x1 int((x_center - bw / 2) * w) y1 int((y_center - bh / 2) * h) x2 int((x_center bw / 2) * w) y2 int((y_center bh / 2) * h) cv2.rectangle(img, (x1, y1), (x2, y2), (0, 0, 255), 2) print(f共画了 {len(open(txt_path).readlines())} 个框图片尺寸 {w}x{h}) cv2.imwrite(check_000001.jpg, img)这段代码的核心是反归一化txt里的坐标是相对于图片宽高的小数所以要乘回宽高才能得到像素坐标。计算结果还要做一次int()取整因为画框需要整数坐标。img.shape[:2]返回的是(高, 宽)如果这里不区分转置之后框会整体偏移这是最常见的手滑点。如果画出来的框和蚂蚁轮廓吻合、没有飞出画面边界说明这份txt标注和图片是配对的。4. 用划分脚本拆数据训练/验证/测试三集一步到位数据集拿到手默认状态是全部图片放在一起。直接拿整份数据去训练会在验证阶段吃大亏模型见过的图片又出现在验证集里指标虚高。所以划分必须做。这个压缩包里带了三套划分脚本分别解决不同需求。4.1 三套脚本分别解决什么问题脚本名输出内容适用情况split_train_val生成ImageSets下txt文件划分脚本.py生成ImageSets/Main下的train.txt、val.txt、test.txt走VOC格式的老框架训练集、验证集划分脚本图片标签划分写入新文件夹.py把图片和标签复制到train/val两个新目录只分两份不要测试集训练集、验证集、测试集划分脚本图片标签划分写入新文件夹.py把图片和标签复制到train/val/test三个新目录标准三份划分YOLO训练首选第一套脚本做的事最轻它不复制文件只生成文件名列表适合数据结构保持VOC原样的场景。第二、三套脚本做的事是物理切分它会在新目录下创建images和labels子目录把文件复制进去。YOLO训练推荐用第三套因为YOLO框架的data.yaml天然期待images/train、images/val、images/test这种目录结构。4.2 三集划分脚本的逻辑拆解下面以“训练集、验证集、测试集划分脚本图片标签划分写入新文件夹.py”为例讲清楚核心逻辑。这段代码是基于这类脚本的常见写法补全的你可以直接对照理解import os import random import shutil from glob import glob random.seed(42) # 固定随机种子保证每次运行划分结果一致 image_dir JPEGImages # 图片所在目录 label_dir Annotations # VOC的xml标签目录如果标签是yolo的txt改成labels save_root split_output # 输出根目录 ratio {train: 0.8, val: 0.1, test: 0.1} images sorted(glob(os.path.join(image_dir, *.jpg))) random.shuffle(images) total len(images) train_n int(total * ratio[train]) val_n int(total * ratio[val]) for idx, img_path in enumerate(images): if idx train_n: part train elif idx train_n val_n: part val else: part test basename os.path.splitext(os.path.basename(img_path))[0] img_save_dir os.path.join(save_root, images, part) label_save_dir os.path.join(save_root, labels, part) os.makedirs(img_save_dir, exist_okTrue) os.makedirs(label_save_dir, exist_okTrue) shutil.copy2(img_path, os.path.join(img_save_dir, os.path.basename(img_path))) xml_path os.path.join(label_dir, basename .xml) if os.path.exists(xml_path): shutil.copy2(xml_path, os.path.join(label_save_dir, basename .xml))逻辑分五步。先固定随机种子random.seed(42)这行的作用是把随机序列固定下来跑两次脚本划分结果一致不会被“随机”坑到。接着用glob把所有jpg图片路径读进来shuffle打乱顺序再按比例切成三段。切分的关键在enumerate循环里索引小于train_n进训练集小于train_n val_n进验证集剩下的进测试集。复制文件用的是shutil.copy2它会把文件的修改时间等元数据一起拷走比shutil.copy更稳。如果你手里的标签是YOLO的txt而不是VOC的xml记住两个改动label_dir改成存放txt的目录复制目标后缀从.xml改成.txt。这也是脚本目录里同时带了两套划分脚本的原因VOC走xml逻辑YOLO走txt逻辑两者文件配对的基准都是“不带扩展名的文件名”。4.3 split_train_val脚本VOC的ImageSets方案另一套脚本走的是纯列表方案不复制文件只生成ImageSets/Main下的txt。逻辑相对更轻import os import random from glob import glob random.seed(7) xml_dir Annotations save_main os.path.join(ImageSets, Main) os.makedirs(save_main, exist_okTrue) xmls glob(os.path.join(xml_dir, *.xml)) names [os.path.splitext(os.path.basename(x))[0] for x in xmls] random.shuffle(names) total len(names) train_n int(total * 0.8) val_n int(total * 0.1) def write_list(file_path, items): with open(file_path, w) as f: for name in items: f.write(name \n) write_list(os.path.join(save_main, train.txt), names[:train_n]) write_list(os.path.join(save_main, val.txt), names[train_n:train_n val_n]) write_list(os.path.join(save_main, test.txt), names[train_n val_n:])这套方案的思路是以Annotaions目录下的xml文件为数据源因为有xml就一定有名配对图片比直接扫图片目录更可靠。names列表里存的是不带扩展名的文件名写入txt时每行一个。VOC框架的DataLoader拿到train.txt后会自己拼出JPEGImages/000001.jpg和Annotations/000001.xml的路径去读取所以txt里绝不能带扩展名带了你不仅要改txt还要改代码。4.4 划分结束后必须做的三项检查划分完直接开训是翻车高发期我一般会强制自己走三个检查。第一对比一下三个子目录的图片总数和原始图片总数差一个数都要查清楚是漏复制还是路径匹配失败。第二随机抽验证集的20张图用第3章的画框脚本确认图片标签配对重点看有没有“标签复制了但图片没复制”的半空目录。第三如果用的是生成txt的方案确认ImageSets/Main里的三个txt和Annotations目录下xml文件名的交集交集大小应该等于xml总数少一个都说明有文件没参与划分。5. 训练前的避坑清单坏标注、路径错、类别不匹配的排查数据准备阶段踩过的坑比模型调参阶段多得多。这里把最容易翻车的四个问题按“现象、原因、解决”写清楚都是这个数据集场景下高概率碰到的。5.1 图片和标签文件名配对失败现象训练脚本一启动就报No labels found或者loss一直是0日志里显示某张图被跳过。原因图片目录里是000001.jpglabels目录里是000001.txt看起来没问题。但实际文件可能是000001.JPG和000001.txt后缀大小写不一致glob(*.jpg)就扫不到大写的JPG。另外如果图片是png脚本写死只认jpg同样配对失败。解决跑训练前先做一次文件名归一化。操作上我习惯写一个小脚本把图片后缀统一转成小写然后检查images和labels两个目录下不带扩展名的文件名集合是否完全一致。做交集差集是秒出结果的别靠肉眼数。5.2 类别id顺序错位导致预测张冠李戴现象训练过程loss正常但预测时红蚂蚁被识别成背景或者输出的类别名和实际目标完全对不上。原因YOLO的txt里存的是类别id不是类别名。id为0对应的类别由data.yaml里names列表的顺序决定。如果划分脚本或转换脚本在处理时把xml里的name按字典序排了一遍而data.yaml里按另一个顺序写两边就对不上了。红蚂蚁这种单类数据集还好一旦你往里面加第二类错位的概率直线上升。解决转换脚本跑完手动打开一个txt看第一行第一个数字再去data.yaml里数names列表的第几位确认一致。ctrlf搜一下训练日志里的类别数量nc显示几就要确保全局统计下来真的只有几类。5.3 验证指标正常但预测框明显偏大现象mAP能到0.85但画出来的框比蚂蚁大一圈甚至把旁边泥土也框进去如果蚂蚁密集框互相重叠。原因归一化坐标计算时用错宽高。txt里的宽高是相对于图片宽度的比例中心点也是。有些转换脚本会写成x_center / height其实就是除数和被除数搞反了。还有一种常见情况xml的size里宽和高都记录的是原图尺寸但脚本先做了resize再取宽高坐标自然偏移。解决用第3.3节的画框脚本抽验证集把框画出来和原图叠一起看。如果所有框都整体向右下角偏移就是中心点计算问题如果框变宽变扁就是宽高归一化除反了。这类问题靠指标看不出来只能靠画框目检。5.4 difficult1的冗余框拉低训练效果现象训练完的模型对某些目标置信度特别低比如被遮挡一半的蚂蚁框不出来但单独一张图里的大蚂蚁表现很好。原因VOC xml里的difficult1表示这个目标难以辨认这类样本不该进训练集。划分脚本复制标签时如果原样复制了difficult而YOLO训练脚本不认difficult字段它会把这种低质量框当成普通正样本强行学习模型学出来的特征自然不稳定。解决转成YOLO格式前先把difficult标记的框过滤掉。用xml解析脚本遍历遇到difficult为1的object节点直接跳过不写入txt。如果这份红蚂蚁数据集的XML里大部分difficult都是0可以直接忽略但如果你要把这套流程复用到别的VOC数据集上这一步必须检查。6. 换到自己数据集上的最后一步改参数、验结果、清理误检6.1 data.yaml改错是新手最常见的翻车点训练脚本真正读的配置就一个data.yaml里面几个字段直接决定成败train: split_output/images/train val: split_output/images/val test: split_output/images/test nc: 1 names: [red_ant]train和val写的是图片目录路径框架会去对应的同级目录labels里找txt。nc是类别总数红蚂蚁单类就写1。names列表的顺序就是txt里类别id的顺序id为0对应names[0]id为1对应names[1]。如果你后续加了第二类names的顺序必须和txt里写入的id顺序严格一致这是YOLO全家桶最容易踩的隐性地雷。路径建议写绝对路径尤其是用PyCharm跑的时候相对路径在不同工作目录下解析结果不一样我在这里翻过不止一次车。6.2 用mAP和混淆矩阵验收模型训练完先看验证集上的mAP这里有两个指标分开读mAP_0.5是IoU阈值0.5下的平均精度主要反应“框得准不准”mAP_0.5:0.95是多个阈值下的平均更能反映框的精细程度。红蚂蚁是小目标如果mAP_0.5高但mAP_0.5:0.95偏低说明框的位置对、但大小贴合度不够这时候把训练轮次拉长、或者把输入分辨率从640提到960通常能追回来。模型部署到实际场景前再用测试集跑一次预测把置信度阈值从默认的0.25往上调到0.4试试。置信度越低误检越多蚂蚁相对小且密阈值太低会把石子、草叶都框进来。调完再看一眼混淆矩阵如果“背景被预测成red_ant”的比例超过百分之五说明训练数据里正负样本比例失衡回去加一些没有蚂蚁的负样本图而不是继续调参。讲到这想起自己一次交付模型的教训当时赶进度划分完没做检查就训练测试集里混进了几张和训练集几乎一样的连拍图甲方验证时发现模型在陌生场景表现远差于测试指标。从那以后我每次划分完数据都强制先跑一遍画框校验脚本确认标签配对、类别id一致、不存在难例残留才允许自己碰训练命令。这套习惯一直留到现在。希望帮到你。本文还有配套的精品资源点击获取
