简介面向工地安全监管与目标检测模型训练这套YOLO智慧工地数据集提供了7538张带标签图像标注类别涵盖安全帽、反光衣、头盔、背心、靴子等防护装备适用于yolo、faster rcnn等主流检测算法的训练与效果验证。压缩包共2000个文件全部为xml格式标注文件逐图记录目标边界框和类别信息搭配原图即可构建完整训练集整体大小约326.49MB便于下载与本地处理。图像样本包含工地现场不同角度、天气和光照条件有助于提升模型在复杂场景下的识别鲁棒性。目前已有402人学习下载。对正在开展智慧工地安全穿戴检测的研究者或工程师而言可直接基于这批标注数据生成自己的训练样本快速验证算法、迭代改进检测效果从而减轻人工巡检压力提高安全管理自动化水平。1. 工地安全帽检测翻车十次之后我回来重新审视这7538张图的标签看到“yolo算法-安全帽-反光衣智慧工地数据集-7538张图像带标签-靴子-头盔-背心.zip”这个标题我的第一反应不是急着解压跑模型而是想起自己带智慧工地项目时吃的亏。那会儿拿到类似结构的数据集直接yolo train一把梭mAP50曲线挺漂亮拿到晚上和阴天的现场一测反光衣漏检、靴子误报、安全帽戴不戴分不清被项目负责人问得哑口无言。后来才明白问题不在YOLO算法本身而在数据标签格式、类别顺序、目标尺度、场景分布这些基础功课没做到位后面就算把yolo损失函数背下来也救不回来。这篇文章按我验证智慧工地数据集的完整流程写先拆包查标签再转成YOLO能直接读的TXT用YOLOv8训练自己的数据集然后针对训练、评估、调阈值阶段逐个排坑。新手照前三章能跑通流程熟手直接看第4章和第5章的踩坑记录和验证方法。2. 拿到zip先别急着train把yolo数据集的目录、格式与划分一次摸清2.1 解开压缩包后的目录长什么样images/labels与train/val的对应关系我拿到这类“智慧工地数据集”后第一件事不是双击训练脚本而是打开终端把目录结构看一遍。这个zip文件名写的是“7538张图像带标签”但标签落在地上通常有三种方言VOC的XML、COCO的JSON、YOLO的TXT。YOLO训练脚本默认只认TXT而且对TXT所在目录、文件名对应关系要求很死路径不匹配直接报no labels found。所以先解压再查目录别急着点train。ZIPyolo算法-安全帽-反光衣智慧工地数据集-7538张图像带标签-靴子-头盔-背心.zip unzip -q $ZIP -d dataset cd dataset find . -maxdepth 2 -type d ls -la | head常见结构是下面这种不同发布者可能改个名但大同小异dataset/ ├── images/ │ ├── train/ │ │ ├── 0001.jpg │ │ └── ... │ └── val/ ├── labels/ │ ├── train/ │ │ ├── 0001.txt │ │ └── ... │ └── val/ └── classes.txt这里最关键的对应关系是严格同名images/train/0001.jpg对应labels/train/0001.txt后缀的大小写也敏感。很多发布者会把训练集和验证集提前分好也有只给一个全量目录让你自己划分。如果只有全量images和labels先不要急着训练后面2.3节会给一个可执行的划分方案提前分好能省掉很多训练完才发现验证集泄漏的麻烦。确认目录后随便打开一个标签文件看看格式。YOLO的TXT每行是class_id x_center y_center width height四个坐标都归一化到0到1之间VOC的XML则包含size和bndbox节点。怎么判断手里是哪种文件直接看后缀.txt大概率是YOLO.xml是VOC.json可能是COCO。同时打开classes.txt这个文件里的类别顺序就是后面训练时的类别索引转换脚本和data.yaml都必须跟它保持一致不能自己按字典序重新排序。first_img$(ls images/train | head -n 1) first_labellabels/train/${first_img%.*}.txt cat $first_label如果这行输出里的坐标有负数、大于1的数或者一行超过5个字段说明这份标签不能直接送进YOLO训练大概率是未归一化的Pascal VOC坐标或者是LabelImg导出时的绝对坐标。遇到这种情况用2.2节的转换脚本处理。另一个常见情况是标签里出现的类别ID超出了类别表范围比如classes.txt只有三行但标签里出现了3 0.5 ...这行训练时会直接报Label class 3 exceeds nc3。所以建议先用统计脚本把标签里真实出现的类别ID列出来再决定下一步。2.2 从VOC/COCO转成YOLO格式的TXT一个能直接跑的转换脚本如果你解压出来的是VOC XML那就先转成YOLO txt。我自己常用LabelImg打标所以看到“labelimg打标完yolo格式的标”这类问题特别有感触LabelImg另存为VOC格式时XML里的filename字段经常是短文件名直接拿它拼路径容易拼错而且坐标归一化必须用到size节点里的图片宽度和高度。最稳的做法是让脚本解析XML时连图片尺寸一起读出来又不依赖filename字段去重新找图。下面这个脚本我放在训练项目里的tools/目录下直接按类别顺序传入能跑通绝大多数的VOC转TXT场景。import xml.etree.ElementTree as ET from pathlib import Path import argparse def convert_voc_to_yolo(xml_path: Path, out_txt: Path, class_names: list[str]) - None: tree ET.parse(xml_path) root tree.getroot() img_w int(root.find(./size/width).text) img_h int(root.find(./size/height).text) lines [] for obj in root.iter(object): name obj.find(name).text if name not in class_names: raise ValueError(f{xml_path} 里的 {name} 不在 class_names 中) cls_id class_names.index(name) bbox obj.find(bndbox) xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) x_center ((xmin xmax) / 2) / img_w y_center ((ymin ymax) / 2) / img_h box_w (xmax - xmin) / img_w box_h (ymax - ymin) / img_h lines.append(f{cls_id} {x_center:.6f} {y_center:.6f} {box_w:.6f} {box_h:.6f}) out_txt.write_text(\n.join(lines), encodingutf-8) if __name__ __main__: parser argparse.ArgumentParser() parser.add_argument(--xml_dir, typePath, requiredTrue) parser.add_argument(--out_dir, typePath, requiredTrue) parser.add_argument(--classes, nargs, default[boots, helmet, vest]) args parser.parse_args() args.out_dir.mkdir(parentsTrue, exist_okTrue) for xml_file in args.xml_dir.glob(*.xml): txt_name xml_file.stem .txt convert_voc_to_yolo(xml_file, args.out_dir / txt_name, args.classes)脚本里最值得注意的一行是if name not in class_names直接抛异常而不是静默跳过。这样在转换阶段就把错标暴露出来能让问题在开工前暴露而不是等到训练时让模型把“靴子”学成“背心”。转换出来的txt文件名要保持和图片文件名一致且一个图片对应一个txt。如果图片是空背景没有标注目标那就不要生成txtYOLO会把它当负样本处理。如果你的标签是COCO JSON格式思路一样只是解析的入口从XML变成JSON先读images数组拿id和width/height再去annotations数组里按image_id聚合bbox最后按同样的公式做归一化。COCO里的bbox是[x, y, width, height]转换时x_center (x width / 2) / img_w别照抄VOC的公式这也是新手最容易换算错的地方。2.3 按类别检查样本数iOS安全帽反光衣数据集的类别数量分布与最小可训底线转换完成还要把每个类别的样本数统计出来。很多公开的智慧工地数据集下载下来叫“安全帽-反光衣-靴子”实际类别数严重不均衡头盔和背心各有几千个标注框靴子可能只有几百个而且大多是小目标。不检查就训练你会发现靴子的AP几乎为零最后还得回头删类或补数据。统计代码不复杂from collections import Counter from pathlib import Path label_dir Path(labels/train) counts Counter() for txt_file in label_dir.glob(*.txt): for line in txt_file.read_text().strip().splitlines(): parts line.split() if len(parts) 5: counts[int(parts[0])] 1 for cls_id in sorted(counts): print(fcategory {cls_id}: {counts[cls_id]} boxes)这里统计的是标注框数量不是图片数量。如果一张图里有5个人戴头盔那helmet的框数就加5。做类别均衡判断时框数比图片数更准确因为一张大合照可能直接贡献几十个同类样本。一般我建议每个类别的标注框不少于1000个低于这个数YOLO很难稳定收敛。靴子这类小目标如果只有几百个框要么删除要么做增强补样本别硬着头皮训。除了正样本还要关注空背景图的数量。完全没有目标的空图也是有效训练数据能压低误报。智慧工地场景里背景复杂脚手架上各种异形物都容易触发误检留少量空图进训练集模型才不会看到任何深色矩形都兴奋。我一般从全部图片里按5%的比例抽空图放进训练集和验证集各一半。数据划分我习惯按8:1:1训练集八成验证集一成测试集一成。如果压缩包已经给了train/val优先用发布者划分因为公开数据集的划分通常考虑了同一场景连续帧不串的问题如果只有全量目录自己划分时按“图”不要按单张标签行移动保证同名jpg和txt同步移动。3. 用YOLOv8训练自己的数据集环境配置、data.yaml与首次跑通的最小命令3.1 Anaconda环境配置要求torch、CUDA、Ultralytics的版本组合开始训练之前先把环境搭好。这句话看着像废话但yolo部署教程里最常见的翻车点不是网络结构而是环境显卡驱动、CUDA、PyTorch、Ultralytics四者的版本错位。如果你只是用CPU跑几百张测试图那无所谓但要在工地现场用GPU做推理就必须按顺序核对。我本地的操作如下conda create -n yolo python3.10 -y conda activate yolo pip install ultralytics torch torchvision --index-url https://download.pytorch.org/whl/cu121python3.10是目前比较稳的一档PyTorch和Ultralytics都兼容得很好。cu121是CUDA 12.1的PyTorch预编译包要求显卡驱动够新。先跑nvidia-smi看驱动支持的最高CUDA版本如果驱动太旧就把cu121换成cu118。这里有个常见误操作直接pip install ultralytics不带--index-url它会给你装一个CPU版torch推理能用训练慢到怀疑人生。装好后用一个Python命令验证python -c import torch; print(torch.__version__, torch.cuda.is_available(), torch.cuda.get_device_name(0))输出如果不是True加显卡名字就回到上一步检查驱动和CUDA版本。再跑一下yolo --version确认ultralytics版本。不要一味追求最新版新版本API可能改动团队里大家都验证过的版本更省心。yolo系列对比不用做太深挑v8作为主力是因为它对工程化更友好配置文件和CLI都统一v5能做的v8也能做而且以后换v11时命令基本不用改。3.2 写data.yaml路径、类别名与验证集缺省时的自动划分数据准备好了环境也通了下一步写YOLO训练入口的data.yaml。核心功能就三个告诉训练器数据放哪、有几个类别、类别名是什么。常见错误是写相对路径启动训练时工作目录一变就找不到数据。我一般写绝对路径用一条命令生成SITE_ROOT/data/smart_site cat $SITE_ROOT/data.yaml EOF path: $SITE_ROOT train: images/train val: images/val test: images/test nc: 3 names: 0: boots 1: helmet 2: vest EOFtrain和val都是相对于path的路径YOLOv8会自动拼接。如果压缩包里没有单独的val目录可以将val:指向images/train再用val_percent: 0.1让训练器自动从train里切出验证集。这样确实能跑但我不推荐因为工地监控视频连续帧高度相似自动切分很容易把同一个画面分到两边验证精度虚高。改成人手划分多花十分钟能省掉后面三天的解释成本。类别名称的顺序要和2.2节转换脚本里的class_names保持完全一致。YOLO只认ID不认字符串你之前把helmet放在ID1这里就绝不能让它变成ID0。检查方法很简单打开一个标签txt看每行第一个数字把数字出现次数和names对应上。如果你按2.3节统计过类别分布这时候再对照一遍就能确保数据分层不出错。3.3 开始训练最小命令、关键超参与损失函数的三个分项启动训练的最小命令是yolo train data/data/smart_site/data.yaml modelyolov8s.pt epochs120 imgsz640 device0但如果你想用这个模型跑真实工地最好还是手工设置一批关键超参。我常用的起手配置是SGD优化器加1280的max下采样因为工地小目标多直接把图缩到640会损失不少边界信息。换成下面这组参数能更快看出数据有没有问题yolo train \ data/data/smart_site/data.yaml \ modelyolov8s.pt \ epochs120 \ batch16 \ imgsz640 \ lr00.01 \ lrf0.01 \ optimizerSGD \ device0 \ projectruns/train_site解释一下为什么这么设modelyolov8s.pt是加载COCO预训练权重再用你的智慧工地数据微调。COCO里有人、有领带没有安全帽和反光衣但预训练模型已经学到了“物体边缘、遮挡、纹理”这些通用特征比从头训练收敛快得多。batch16在8GB显存上比较稳16GB显卡可以开到32。imgsz640是训练时缩放的边长小目标比例高就提到960显存不够时优先降batch而不是降分辨率。lr0是初始学习率数据集小的时候0.01比0.001更快看出来损失有没有下降趋势。训练日志里会显示cls_loss、box_loss、dfl_loss三个值这就是YOLOv8损失函数的三个分项分类损失用BCE回归损失是CIoU那一类再加上DFL分布损失。很多人看到这三个数降得不同步就慌其实不需要逐项调。box_loss降不动通常是标签框本身画得不准cls_loss降不下去更多是类别难分。如果某一类一直拖后腿回到第4章的坑4和坑5看怎么处理。训练结束不要只看mAP50还要看mAP50-95。智慧工地摄像头经常在高处目标偏小mAP50-95比mAP50更能反映框的回归质量。它俩差距过大说明你的框位置和尺寸还不够贴下一轮优先提输入分辨率或者检查标签框有没有明显外扩。4. 智慧工地数据集训练中必然遇到的4个坑现象、原因、解决4.1 靴子类别AP一直垫底训到后期甚至不收敛现象第2章统计时发现靴子只有三百来个框训练曲线前期看着正常到40轮之后震荡加剧。验证集里靴子的AP一直上不去推理时还把地上的鞋盒、水泥袋当成靴子框出来。原因靴子目标小、样本少、标注质量也差。很多标注框把脚和地面阴影一起圈进去YOLO学到的其实不是“靴子”而是“脚附近一团深色”。类别不平衡导致有限的学习容量全部分给样本多的头盔和背心属性靴子梯度占比过低。解决如果靴子标注框不到安全帽的十分之一我一般直接放弃这个类别把项目需求收敛到“安全帽反光衣”上线后再用颜色分割或边缘特征做靴子粗筛现场更容易解释。如果一定要保留靴子先做过采样增强把含靴子图片拷贝扩充配合随机旋转、亮度抖动和Mosaic增强让靴子在每轮训练中出现的次数占总体样本的15%以上。在YOLOv8里没有现成的单类别Loss权重开关数据层面垫高样本量是最直接的办法。4.2 反光衣在阴天和逆光下几乎全漏现象训练集里反光衣大多是晴天顺光的监控截图反光条亮得刺眼。部署到阴天或逆光工地模型把反光衣漏成0.1以下安全帽反而还能检出。原因数据集场景单一反光衣在低照度下从“高亮银白色”退化成一团灰色旧衣服模型没见过这种分布。反光材质在图像里变化太大RGB三个通道很难泛化。这不是YOLO网络结构的问题是数据增强和场景覆盖不到位。解决把训练超参里的hsv_h、hsv_s、hsv_v调大尤其是亮度项hsv_v默认0.4我一般调到0.6让模型见过更多暗光变体。然后找一批阴天、傍晚的真实工地图片做第二轮微调不要把它们混进第一轮直接训先用基础数据训出能收敛的模型再用强光照分布微调。验证时也要按光照分桶统计单独把阴天图片放到val里不要用整体mAP掩盖这个坑。4.3 标签TXT与图片文件名大小写不一致mAP直接归零现象训练能正常启动日志里没有warning但每个epoch的mAP都是0val_box_loss不下降。很多人以为是代码写错了去调网络结构折腾半天发现是数据没进去。原因图片命名为IMG_20230101.JPG标签txt却是img_20230101.txt在Linux下JPG和jpg是两种文件名训练图片找不到对应标签于是图片被当作无标签样本跳过。所有图片进了但验证集里没有真值mAP自然为0。解决写个脚本统一后缀并校验同名我一般把它放在tools/check_data.py里from pathlib import Path image_dir Path(images/train) label_dir Path(labels/train) for suffix in [*.jpg, *.JPG, *.jpeg, *.png]: for img_path in image_dir.glob(suffix): label_path label_dir / (img_path.stem .txt) if not label_path.exists(): print(missing:, img_path)训练翻车常是这类小事类别ID错、目录名错、文件名大小写错。每次拿到新数据集先跑一遍这个脚本保证没有孤儿图片、没有孤儿标签再写data.yaml和启动命令。4.4 置信度门限调不好验证集P/R曲线好看现场误检不断现象模型在测试集mAP50有0.9一接到现场摄像头连续把塔吊钢索、脚手架钢管、反光锥标全部框成“安全帽”或“背心”。调低conf会误报满天飞调高conf又开始漏检。原因验证集和现场分布差距大。测试图片里人通常站在3到5米内现场还有十米外的远景目标、遮挡和运动模糊模型对特征模糊的小物体倾向于“凑合给个框”。另一个原因是NMS的IoU阈值默认偏高高密度人群场景里会把邻近真值吞掉。解决用最终的现场视频截帧做一轮阈值扫描。YOLO的预测参数里conf控制置信度iou控制NMS两者要分开调。我一般先跑一批现场图片从--conf 0.35 --iou 0.45开始。漏检多就把conf降到0.25误检多就升到0.45。NMS的iou降到0.4到0.5反而更稳因为工地目标重叠度不高太宽松的NMS容易合并错误框。调完阈值再跑一次完整基线测试记录漏检率和误检率后面每版模型都用同一套Log做对比。4.5 戴安全帽和不戴安全帽的类别被模型混成一团现象标签里有helmet和no_helmet两个类训练损失降了但混淆矩阵里两者互相错认尤其从背影和低分辨率画面里把“没戴帽子的人头”全判成“戴了安全帽的头”。原因标注策略有歧义。很多人只标戴着安全帽的框没戴安全帽的人头不标模型就被大量带“裸露头皮”的负样本干扰。它看到头上有物体就激活helmet看到人头轮廓接近皮肤色就激活no_helmet两者在视觉上太接近分类边界模糊。解决如果要认真做佩戴合规判断最好把问题简化成两个类别person和helmet。先检测人再检测人头上的helmet通过空间关系判断是否戴帽。用单个检测模型直接分戴与不戴会被视角和遮挡折腾得够呛。如果你仍然想用单模型就必须补一批没戴安全帽的人头正样本把它们也标成no_helmet并把所有漏标的人头都作为困难负样本放进训练集哪怕它们没有标注框也没关系。5. 训练完怎么验证在测试图片上跑推理并调整conf与NMS门限5.1 用YOLO测试图片跑推理一行命令与输出字段的含义训练结束后把best.pt单独复制到新目录找一批没参与训练的真实工地图片跑推理。命令可以是yolo detect predict \ modelruns/train_site/weights/best.pt \ source/data/smart_site/test_images \ conf0.25 \ iou0.45 \ saveTrue \ projectruns/predict_site终端输出里一行会显示图片路径、处理耗时和检测到的目标列表。配了saveTrue时会在project目录生成画好框的图片。如果做批量验证建议再加save_txtTrue把每张图的类别、置信度和归一化坐标写到txt后面统计漏检率时直接解析这些文件就行。不要只跑几张干净测试图就上线。我习惯把现场监控视频按时间顺序截帧至少取三个时间段早晨顺光、中午顶光、傍晚逆光每个时间段取几十张。用同一个模型跑一遍人工核对每一类漏检和误检。这个过程虽然枯燥但能最快暴露“验证集高精度但现场不靠谱”的问题。如果时间紧至少保证逆光场景有二十帧以上这是智慧工地最常见的翻车场景。5.2 画P-R曲线和混淆矩阵按类别选置信度门限如果怀疑阈值不对劲别只看mAP直接去看训练目录下的PR_curve.png和confusion_matrix.png。P-R曲线的横轴是召回率纵轴是精确率曲线上每个点对应一个置信度阈值。反光衣的P-R曲线如果在召回率0.8时精确率骤降到0.5说明这个类别的置信度阈值要拉高不适合全模型统一用0.25。我用一个循环把不同置信度下的验证指标扫出来再选合理的阈值from ultralytics import YOLO model YOLO(runs/train_site/weights/best.pt) for conf in [0.15, 0.25, 0.35, 0.45, 0.55]: metrics model.val(data/data/smart_site/data.yaml, confconf, splittest) print(fconf{conf:.2f} map50{metrics.box.map50:.4f} map{metrics.box.map:.4f})跑完你会发现map50的最高点往往不在0.25而在0.35或0.45附近。这时可以重新跑一轮predict把这个conf带进去做体验测试。注意NMS的iou也会影响最终结果上述循环里保持iou0.45不变只动置信度。如果你想同时调两个参数做一个两层循环每次记录F1分数最后选F1最高且误检可接受的一组。别用最后一版模型的默认参数直接部署那是个黑匣子你得自己掌握阈值口径。5.3 导出ONNX并在实际视频流里做一次烟雾测试调好阈值下一步导出ONNX用于部署。导出命令很简单yolo export modelruns/train_site/weights/best.pt formatonnx imgsz640 opset12导出后会在runs/train_site/weights/下生成best.onnx。先用CPU跑一段视频验证导出后和PyTorch推理结果是否一致yolo predict modelruns/train_site/weights/best.onnx sourcesite_clip.mp4 conf0.30 iou0.45我建议先对比ONNX和PyTorch在同一帧上输出的置信度正常来说差异在0.01以内如果差距过大检查导出时是否加了dynamic导致的后处理变化。不要直接拿TensorRT的engine调阈值工程链的量化误差会叠加等到ONNX验证完成、置信度分布稳定后再优化成TensorRT这样出问题能按调试。6. 收尾进阶拿300张“脏”图把模型再虐一遍6.1 主动学习闭环从“模型漏检”里再挖出一批训练数据模型能跑通、阈值也调稳定了但距离现场长期稳定运行还有一段距离。我习惯的最后一件事是做一个“脏数据回炉”流程拿没参与过训练的真实监控录像抽帧大约300张其中一半故意选逆光、雨天、傍晚、镜头被泥点遮挡的画面。做法是先用当前最好的权重对这300张图跑推理把置信度落在0.3到0.7之间、人眼觉得“模棱两可”的图片挑出来人工逐一翻看分成三类判错的、漏掉的、数据本身就有歧义的。判错的加进训练集背景或困难负样本漏掉的重新标注那些你觉得标注和模型都有道理、但现场认为有问题的情况往往说明业务规则要调整比如说“远景里不到30像素的人头到底要不要判”。这一步比漫无目的地加数据更省时间也是我理解里真正有效的闭环。from ultralytics import YOLO model YOLO(runs/train_site/weights/best.pt) for img_path in dirty_images: result model.predict(img_path, conf0.3, save_txtFalse) conf_mean result[0].boxes.conf.mean().item() if 0.3 conf_mean 0.7: print(review:, img_path, round(conf_mean, 2))这里conf_mean取的是单张图所有目标置信度的平均值只是初筛不能替代人工复核。跑完后把挑出来的图像复制到一个hard_examples目录交给标注人员补标签再合并回训练集。每一轮“回炉”新增图片控制在200到300张就好一次加太多反而让旧模型的权重被新分布冲垮。用这批新数据做微调从best.pt继续跑40到60轮学习率设为初始训练的十分之一通常就能把现场最典型的漏检压下去。我养成一个习惯每版模型上线后保留它当时翻车的截图下一版本专门用同一批图把当时的问题全部重测一遍。防止模型修好一个场景却在旧场景上重新翻车。这个习惯帮我避免了很多次“看起来提升了实际回归了”的问题。智慧工地这类任务数据和场景永远是决定实用性的上限算法只是在一点点逼近上限。希望帮到你。本文还有配套的精品资源点击获取
