1. 项目背景与数据集价值在工程机械智能化转型的浪潮中土石方作业场景的自动化监测需求日益凸显。这个包含2006张标注图像的数据集精准捕捉了挖掘机和渣土车这两种核心工程机械的7种典型工作状态为施工现场的智能监管提供了关键数据支撑。传统工地管理主要依赖人工巡查和简单传感器存在监测盲区大、响应滞后等问题。我们团队在华北地区三个大型基建项目现场通过多角度固定摄像头和无人机航拍历时8个月采集了涵盖不同光照条件晴天、阴天、夜间补光和复杂背景山地、基坑、堆料场的原始素材。2. 数据集技术规格详解2.1 数据构成与标注标准数据集包含2006张1920×1080分辨率图像按7:2:1比例划分为训练集1404张含数据增强样本验证集402张测试集200张保留未公开标注7个标注类别经过专家论证挖掘机_停机挖掘机_装车作业挖掘机_平整作业渣土车_空载静止渣土车_装载中渣土车_满载行驶设备交互挖掘机与渣土车协同作业2.2 双格式标注实现VOC格式特点采用XML文件存储每个图像的标注信息包含完整的图像尺寸、通道数等元数据每个对象标注包含object nameexcavator_loading/name bndbox xmin512/xmin ymin240/ymin xmax890/xmax ymax680/ymax /bndbox /objectYOLO格式优化每个图像对应同名的.txt标注文件归一化坐标处理示例1 0.427 0.426 0.197 0.229其中首字段1对应类别ID从0开始后续四个字段分别为归一化的中心点(x,y)和宽高我们开发了自动转换脚本确保两种格式标注一致性关键代码如下def voc_to_yolo(voc_box, img_w, img_h): x_center (voc_box[0] voc_box[2]) / 2 / img_w y_center (voc_box[1] voc_box[3]) / 2 / img_h width (voc_box[2] - voc_box[0]) / img_w height (voc_box[3] - voc_box[1]) / img_h return [x_center, y_center, width, height]3. 数据采集与处理全流程3.1 现场采集方案设计采用多源异构采集策略固定监控摄像头海康威视DS-2CD3系列1080P30fps安装在塔吊和围挡无人机航拍大疆M300RTK定时自动巡航拍摄车载记录仪安装在部分渣土车驾驶室为应对复杂环境特别配置夜间补光采用850nm红外灯避免干扰作业雨天防护使用IP67级设备外壳粉尘环境加装气吹式镜头清洁装置3.2 数据清洗与增强原始数据经过严格质检剔除模糊/过曝/严重遮挡图像人工验证所有标注框准确性平衡各类别样本数量应用的数据增强技术几何变换随机旋转±15°、平移±10%色彩扰动HSV空间调整H±30S±50V±30环境模拟添加雨雾、粉尘特效混合样本CutMix增强小样本类别4. 典型应用场景与模型训练4.1 智能工地管理系统基于该数据集训练的YOLOv5模型在某地铁建设项目中实现设备利用率分析准确率92.3%违规操作识别率89.7%作业效率统计耗时从人工8小时缩短至实时更新4.2 训练配置示例YOLOv5s模型训练关键参数# hyperparameters.yaml lr0: 0.01 lrf: 0.2 momentum: 0.937 weight_decay: 0.0005 warmup_epochs: 3 warmup_momentum: 0.8 box: 0.05 cls: 0.5 obj: 1.0优化策略自适应anchor box计算采用CIoU Loss提升框回归精度引入CBAM注意力机制应对复杂背景5. 实际应用中的挑战与解决方案5.1 典型问题排查表问题现象可能原因解决方案误检堆料机为挖掘机外形相似度较高增加两者对比样本夜间检测AP下降红外图像特征差异单独训练夜间子模型小目标漏检渣土车远距离拍摄添加SPPF模块5.2 部署优化经验边缘设备部署时发现RK3588开发板需启用NPU加速Jetson Xavier需做TensorRT量化国产芯片如昇腾310需转换OM模型实测性能对比设备分辨率FPS功耗RTX30601080p56170WRK3588720p188W昇腾3101080p3220W6. 数据集扩展方向当前正在进行的改进增加多视角同步采集数据标注液压缸运动状态作为辅助特征融合毫米波雷达点云数据开发半自动标注工具提升效率这个数据集在实际项目中表现出的核心价值在于通过精准的设备状态识别使管理人员能实时掌握机械使用效率、燃油消耗与作业进度间的关联关系为智慧工地建设提供了可靠的数据基石。我们在某隧道工程中应用该方案后设备调度效率提升27%闲置率下降43%充分验证了数据质量的可靠性。
