1. 项目概述从Labelme标注到YOLOv5训练的数据转换全流程在计算机视觉项目中数据标注格式的转换是模型训练前最关键的预处理步骤之一。Labelme作为一款流行的多边形标注工具生成的JSON格式标注文件需要经过特定处理才能适配YOLOv5训练所需的TXT格式。这个转换过程涉及坐标系的转换、类别ID的映射、数据集的划分等多个技术环节任何一个步骤出错都可能导致模型训练失败或性能下降。我曾在多个工业检测项目中处理过上万张图像的标注转换发现约30%的模型性能问题都源于标注转换过程中的细节错误。本文将分享一套经过实战检验的完整转换方案包含异常处理、可视化验证等关键技巧帮助开发者避开我踩过的那些坑。2. 核心工具与环境配置2.1 Labelme标注规范要点Labelme默认生成的JSON文件包含以下关键字段{ version: 5.1.1, flags: {}, shapes: [ { label: defect, points: [[x1,y1], [x2,y2], ...], group_id: null, shape_type: polygon, flags: {} } ], imagePath: image_001.jpg, imageData: null, imageHeight: 2048, imageWidth: 2448 }关键注意事项标注时应确保所有多边形闭合避免出现自相交图形。工业场景中建议为每个标注对象设置唯一的group_id便于后续跟踪。2.2 YOLOv5的标注格式解析YOLOv5要求每个图像对应一个TXT文件每行表示一个对象class_id x_center y_center width height其中坐标值为归一化后的相对值0-1之间。与Labelme的多边形不同YOLOv5使用矩形框标注因此需要计算多边形的最小外接矩形。2.3 环境准备清单推荐使用conda创建独立环境conda create -n labelme2yolo python3.8 conda activate labelme2yolo pip install labelme pyyaml opencv-python tqdm3. 完整转换流程实现3.1 数据结构转换核心算法转换脚本的核心处理逻辑包括多边形转矩形使用OpenCV的minAreaRect计算最小外接矩形def polygon2box(points): rect cv2.minAreaRect(np.array(points)) box cv2.boxPoints(rect) box np.int0(box) x_min, y_min box.min(axis0) x_max, y_max box.max(axis0) return x_min, y_min, x_max, y_max绝对坐标转相对坐标def abs2rel(x, y, img_w, img_h): return x/img_w, y/img_h中心点坐标计算def xyxy2xywh(x1, y1, x2, y2): return (x1x2)/2, (y1y2)/2, (x2-x1), (y2-y1)3.2 自动化转换脚本实现完整转换脚本应包含以下功能模块import json import os import cv2 import numpy as np from tqdm import tqdm class Labelme2YOLOv5: def __init__(self, labelme_dir, output_dir, class_list): self.labelme_dir labelme_dir self.output_dir output_dir self.class_dict {name:i for i,name in enumerate(class_list)} def convert(self): os.makedirs(os.path.join(self.output_dir, labels), exist_okTrue) os.makedirs(os.path.join(self.output_dir, images), exist_okTrue) json_files [f for f in os.listdir(self.labelme_dir) if f.endswith(.json)] for json_file in tqdm(json_files): with open(os.path.join(self.labelme_dir, json_file), r) as f: data json.load(f) img_path os.path.join(self.labelme_dir, data[imagePath]) img cv2.imread(img_path) h, w img.shape[:2] txt_content [] for shape in data[shapes]: label shape[label] if label not in self.class_dict: continue points np.array(shape[points]) x1, y1, x2, y2 polygon2box(points) xc, yc, bw, bh xyxy2xywh(x1, y1, x2, y2) xc_rel, yc_rel abs2rel(xc, yc, w, h) bw_rel, bh_rel abs2rel(bw, bh, w, h) txt_content.append(f{self.class_dict[label]} {xc_rel} {yc_rel} {bw_rel} {bh_rel}) txt_file os.path.join(self.output_dir, labels, json_file.replace(.json,.txt)) with open(txt_file, w) as f: f.write(\n.join(txt_content)) cv2.imwrite(os.path.join(self.output_dir, images, data[imagePath]), img)3.3 数据集划分与YAML配置转换后需创建dataset.yaml文件train: ../train/images val: ../val/images test: ../test/images nc: 3 # 类别数 names: [class1, class2, class3] # 类别名称推荐使用以下比例划分数据集import random from sklearn.model_selection import train_test_split all_images [f for f in os.listdir(images) if f.endswith(.jpg)] train_val, test train_test_split(all_images, test_size0.1, random_state42) train, val train_test_split(train_val, test_size0.2, random_state42)4. 质量验证与常见问题4.1 可视化验证方法使用以下脚本检查转换结果是否正确def visualize_annotation(img_path, txt_path, class_names): img cv2.imread(img_path) h, w img.shape[:2] with open(txt_path, r) as f: lines f.readlines() for line in lines: class_id, xc, yc, bw, bh map(float, line.strip().split()) x1 int((xc - bw/2) * w) y1 int((yc - bh/2) * h) x2 int((xc bw/2) * w) y2 int((yc bh/2) * h) cv2.rectangle(img, (x1,y1), (x2,y2), (0,255,0), 2) cv2.putText(img, class_names[int(class_id)], (x1,y1-10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0,255,0), 2) cv2.imshow(Validation, img) cv2.waitKey(0)4.2 典型问题排查指南问题现象可能原因解决方案转换后框位置偏移坐标归一化错误检查图像宽高是否读取正确类别ID混乱class_dict定义错误确保yaml文件与转换脚本类别顺序一致丢失部分标注多边形点集异常添加try-catch处理无效多边形矩形框过大最小外接矩形计算错误改用convexHull处理复杂多边形4.3 性能优化技巧批量处理加速使用Python多进程Pool并行处理大量文件from multiprocessing import Pool def process_file(json_file): # 转换逻辑... with Pool(8) as p: p.map(process_file, json_files)内存优化对于超大图像如4K以上使用分块处理def process_large_image(img_path): tile_size 1024 img cv2.imread(img_path, cv2.IMREAD_REDUCED_COLOR_2) # 分块处理逻辑...5. 工业场景下的特殊处理5.1 小目标检测优化当处理微小缺陷32px时建议保持原始分辨率不缩小采用更密集的标注策略在转换时添加边缘扩展def expand_bbox(x1, y1, x2, y2, img_w, img_h, ratio0.1): w x2 - x1 h y2 - y1 delta_x w * ratio delta_y h * ratio x1 max(0, x1 - delta_x) y1 max(0, y1 - delta_y) x2 min(img_w, x2 delta_x) y2 min(img_h, y2 delta_y) return x1, y1, x2, y25.2 多相机适配方案不同工业相机产生的图像可能需要特殊处理CAMERA_PROFILES { basler_ace: {ratio: 1.03, offset: (-5,2)}, hik_vision: {ratio: 0.98, offset: (0,0)} } def apply_camera_correction(points, camera_type): profile CAMERA_PROFILES.get(camera_type) if profile: points [(x*profile[ratio]profile[offset][0], y*profile[ratio]profile[offset][1]) for x,y in points] return points5.3 标注质量管理建议在转换前执行以下检查空标注检测标注重叠检查类别分布统计宽高比异常检测实现示例def quality_check(txt_dir): stats {total:0, empty:0, small:0} for txt_file in os.listdir(txt_dir): with open(os.path.join(txt_dir, txt_file), r) as f: lines f.readlines() stats[total] 1 if len(lines) 0: stats[empty] 1 continue for line in lines: _, _, _, bw, bh map(float, line.strip().split()) if bw 0.01 or bh 0.01: stats[small] 1 return stats在实际项目中这套转换流程已经成功应用于PCB缺陷检测、纺织品瑕疵识别等多个工业场景。一个关键经验是永远保留原始Labelme标注文件并在转换过程中生成详细的日志文件这样当模型出现异常时可以快速定位是标注问题还是训练问题。
