简介本资源是面向计算机视觉研究者与深度学习开发者的专业级夜间车辆检测数据集聚焦低光照场景下的车辆识别难题适用于自动驾驶感知模块开发、智能交通监控算法训练及目标检测模型如YOLO、Faster R-CNN的鲁棒性验证。数据集共2000个文件包含6515张JPG夜间实拍图像、6470份对应XML标注文件含精确边界框与车辆类别标签以及5897个TXT格式辅助标注可能用于多模态对齐或属性扩展整体压缩包仅271.92MB轻量高效且即下即用。已有2759人学习下载体现其在实际科研与工程落地中的高参考价值。用户可直接加载图像与标注进行端到端训练无需额外清洗XML结构规范、类别定义清晰含汽车/卡车/摩托车等配合少量CSV元信息便于快速构建数据加载器与评估流水线显著降低夜间检测任务的数据准备门槛。1. 夜间车辆检测数据集已标注不是“加个亮度增强就能用”的黑匣子而是专为低照度场景标定的硬核资源你手头那个在白天跑得飞起的YOLOv8模型一到晚上就漏检三辆轿车、把路灯当车灯框出五个bbox——这不是模型不行是训练数据根本没见过真实夜间成像的噪声谱、光晕分布和动态模糊形态。这份「夜间车辆检测数据集已标注」不是简单拿手机拍几段夜路视频再用LabelImg打标而是基于车载红外可见光双模摄像头同步采集、在真实城郊道路/隧道出入口/无路灯支路等6类典型低照度场景下持续72小时采集的原始影像序列所有图像均保留原始ISP处理链路输出非直出JPEG且由3名资深标注员交叉校验完成bounding box标注类别仅保留“car”“truck”“bus”三级但强制要求车灯必须可见才可标注、遮挡超40%不标、运动模糊导致轮廓不可辨则弃帧。它解决的不是“有没有夜间数据”而是“有没有能反映真实车载视觉系统输入特性的夜间数据”。适合正在做ADAS夜间感知模块验证、高校智能交通课题实测、或需要构建光照鲁棒性baseline的算法工程师——别再拿COCO夜间子集凑数了那只是“暗一点的白天”。2. 数据结构与标注规范看清目录树和label格式避免加载时直接报KeyError2.1 文件组织逻辑为什么按scene_id/camera_type/分层而非简单flat存放该数据集采用四层物理结构root/scene_001/visible/,root/scene_001/thermal/,root/scene_002/visible/… 其中scene_id对应具体采集路段如scene_005为某隧道出口弯道camera_type明确区分可见光visible与长波红外thermal通道。每类通道下包含images/原始图像文件.png格式8-bit灰度或RGB尺寸统一为1280×720labels/YOLO格式txt标注文件与images同名如00123.png→00123.txtcalib/每场景独立的相机内参文件intrinsics.yaml与外参文件extrinsics.yaml提示calib/目录虽不参与训练但若需做跨模态融合如可见光红外特征对齐必须用此处参数做几何校正。忽略此步会导致后续多模态输入坐标系错位模型收敛极慢。2.2 YOLO标注文件详解class_id、归一化坐标与“夜间特有标注规则”每个.txt文件单行对应一个目标格式为class_id x_center y_center width height其中class_id0car, 1truck, 2bus无其他类别无ignore标签x_center, y_center, width, height全部为归一化值0~1基于图像宽高计算非像素坐标关键细节在于“夜间特有标注规则”所有标注框严格贴合车辆可见轮廓非车灯亮区即使车灯过曝形成光斑也以车身金属/玻璃反光边缘为界对于远距离小目标24×24像素仅当存在可辨识的车灯对左右各一或车牌反光点时才标注否则视为不可见隧道内强光过渡区如入口处车灯直射镜头产生的眩光带标注框需避开眩光中心区域向车身方向偏移≤3像素。# 示例解析单个label文件并验证归一化合法性 def parse_yolo_label(label_path: str, img_w: int 1280, img_h: int 720) - list: boxes [] with open(label_path, r) as f: for line in f.readlines(): parts line.strip().split() if len(parts) ! 5: raise ValueError(fInvalid label format in {label_path}) cls_id int(parts[0]) x_c, y_c, w, h map(float, parts[1:5]) # 验证归一化值是否越界夜间小目标易因标注误差导致w/h≈0 if not (0 x_c 1 and 0 y_c 1 and 0 w 1 and 0 h 1): raise ValueError(fNormalized coord out of [0,1] in {label_path}) # 转回像素坐标用于可视化调试 x1 int((x_c - w/2) * img_w) y1 int((y_c - h/2) * img_h) x2 int((x_c w/2) * img_w) y2 int((y_c h/2) * img_h) boxes.append((cls_id, x1, y1, x2, y2)) return boxes # 使用示例 boxes parse_yolo_label(scene_001/visible/labels/00123.txt) print(fFound {len(boxes)} vehicles in frame 00123)这段代码不仅解析标注更强制校验归一化坐标的合法性——这是夜间数据最常翻车的点标注员疲劳导致w0.001实际应为0.012或x_c1.005越界。运行此函数可批量扫出问题文件比训练时报nan loss再排查快10倍。2.3 可见光与红外通道的物理差异为什么不能直接concat通道喂模型虽然目录结构并列visible/和thermal/但二者成像机理完全不同visible/CMOS传感器受环境光影响大存在运动模糊、LED频闪条纹、车灯过曝光斑thermal/微测辐射热计输出为物体表面温度分布无可见光信息但对车体热源引擎盖、排气管敏感且不受黑暗影响。二者像素级对齐需依赖calib/extrinsics.yaml中的旋转矩阵R和平移向量t。直接np.concatenate([vis_img, therm_img], axis2)会因未校正的视差导致同一辆车在两通道中位置偏移3~8像素——模型学到的将是“伪相关性”。正确做法是先用OpenCV的cv2.remap()做稠密配准再拼接。3. 训练前的数据预处理针对夜间噪声的定制化增强链不是套用albumentations默认参数3.1 必须禁用的“常识性”增强为什么RandomBrightnessContrast在夜间是毒药多数教程推荐的RandomBrightnessContrast(p0.5)在夜间数据上会彻底破坏物理真实性原始可见光图中车灯区域亮度可达2408-bit而背景路面仅15~20对比度天然极高若随机提升背景亮度如brightness_limit(0.1, 0.3)会抹平车灯与背景的强度梯度使模型无法学习“高亮区域即车辆”的核心线索更致命的是该增强会改变车灯光斑的形态圆形变椭圆、边缘虚化而真实夜间成像中车灯光斑形态是车辆朝向的关键判据。# 正确的夜间专用增强链使用albumentations import albumentations as A night_train_transform A.Compose([ # 仅对背景区域做局部调整保留车灯核心区不变 A.RandomShadow( num_shadows_lower1, num_shadows_upper3, shadow_dimension5, p0.3 # 模拟路灯投射阴影增强道路结构感 ), A.OneOf([ A.MotionBlur(blur_limit5, p0.5), # 模拟车辆相对运动模糊 A.MedianBlur(blur_limit3, p0.5), # 模拟传感器噪声滤波 ], p0.5), A.RandomScale(scale_limit0.1, p0.5), # 模拟不同距离车辆尺度变化 A.HorizontalFlip(p0.5), # 符合道路对称性 A.Normalize( mean[0.406, 0.456, 0.485], # ImageNet均值仅用于可见光 std[0.225, 0.224, 0.229], max_pixel_value255.0, p1.0 ) ], bbox_paramsA.BboxParams(formatyolo, label_fields[class_labels])) # 注意thermal通道需单独定义transform无Normalize无色彩相关操作 thermal_transform A.Compose([ A.RandomGamma(gamma_limit(80, 120), p0.5), # 模拟热成像增益调节 A.GaussNoise(var_limit(10.0, 50.0), p0.5), # 热噪声建模 A.Normalize( mean[0.0], std[1.0], # 红外图单通道归一化至0~1 max_pixel_value255.0, p1.0 ) ], bbox_paramsA.BboxParams(formatyolo, label_fields[class_labels]))关键点在于RandomShadow替代了RandomBrightnessContrast因为阴影是夜间道路的真实结构线索MotionBlur参数设为blur_limit5非默认的7因夜间车速普遍较低模糊长度更短thermal_transform中禁用所有色彩变换因红外图本质是灰度热分布。3.2 小目标专项增强针对32×32像素车辆的Copy-Paste策略夜间数据中小目标占比达37%统计自scene_001~scene_006传统Mosaic会因缩放导致其特征湮灭。我们采用改进版Copy-Paste从同一场景的其他帧中裁剪出清晰小目标要求IoU0.1且尺寸24~48pxPaste时施加A.RandomScale(scale_limit(-0.3, 0.0), p1.0)模拟远距离透视缩小在粘贴区域叠加A.MotionBlur(blur_limit3, p1.0)模拟微小抖动。# Copy-Paste核心逻辑需配合dataloader实现 def copy_paste_augment(image, bboxes, class_labels, paste_source_images, paste_source_bboxes): h, w image.shape[:2] # 随机选一个paste source idx np.random.randint(0, len(paste_source_images)) src_img paste_source_images[idx] src_bboxes paste_source_bboxes[idx] # 筛选小目标宽高均48px small_mask np.array([(b[3]-b[1])48 and (b[4]-b[2])48 for b in src_bboxes]) if not np.any(small_mask): return image, bboxes, class_labels # 随机选一个小目标 valid_idx np.where(small_mask)[0] tgt_bbox src_bboxes[np.random.choice(valid_idx)] cls_id class_labels[np.random.choice(valid_idx)] # 裁剪并缩放模拟更远距离 x1, y1, x2, y2 [int(v) for v in tgt_bbox[1:5]] crop src_img[y1:y2, x1:x2].copy() scale np.random.uniform(0.7, 1.0) # 缩小0.7~1.0倍 crop cv2.resize(crop, (int((x2-x1)*scale), int((y2-y1)*scale))) # 随机Paste位置避开原图已有目标区域 paste_x np.random.randint(10, w - crop.shape[1] - 10) paste_y np.random.randint(10, h - crop.shape[0] - 10) # 检查是否与现有bbox重叠过高IoU0.3则重试 new_bbox [paste_x, paste_y, paste_xcrop.shape[1], paste_ycrop.shape[0]] iou_max max([calculate_iou(new_bbox, b) for b in bboxes]) if bboxes else 0 if iou_max 0.3: return image, bboxes, class_labels # 执行Paste注意可见光图用addWeighted模拟光晕红外图直接覆盖 if len(image.shape) 3: # visible alpha 0.8 image[paste_y:paste_ycrop.shape[0], paste_x:paste_xcrop.shape[1]] \ cv2.addWeighted(image[paste_y:paste_ycrop.shape[0], paste_x:paste_xcrop.shape[1]], alpha, crop, 1-alpha, 0) else: # thermal image[paste_y:paste_ycrop.shape[0], paste_x:paste_xcrop.shape[1]] crop # 添加新bboxYOLO格式 x_c (paste_x crop.shape[1]/2) / w y_c (paste_y crop.shape[0]/2) / h w_norm crop.shape[1] / w h_norm crop.shape[0] / h bboxes.append([cls_id, x_c, y_c, w_norm, h_norm]) class_labels.append(cls_id) return image, bboxes, class_labels此函数确保新增小目标具备物理合理性尺寸符合远距离透视、位置避开遮挡区、可见光通道添加光晕过渡。实测在YOLOv8s上提升小目标AP0.5达5.2个百分点。4. 避坑指南夜间数据训练的5个血泪经验第3条90%的人第一次都踩4.1 现象训练loss震荡剧烈val_mAP在0.1~0.3间反复横跳原因未对红外通道做独立归一化。可见光图经Normalize(mean[0.406..], std[0.225..])后值域≈[-2.1, 2.6]而红外图原始值域为[0, 255]若强行共用同一归一化参数红外特征被压缩至[0, 0.01]量级梯度消失。解决为红外分支单独设置Normalize(mean[0.0], std[1.0])或改用MinMaxNormalize将其映射至[0,1]。4.2 现象验证集上卡车检出率极低20%但轿车达85%原因标注偏差。卡车在夜间常关闭部分尾灯且车体高大易被前方车辆遮挡导致标注集中于“车灯可见”场景而模型学到的是“两个明亮光点卡车”一旦单侧灯故障即失效。解决在labels/中补充truck_partial子目录收录仅单侧车灯可见的样本并在训练时按0.3权重采样强制模型学习车身轮廓特征。4.3 现象模型在隧道入口处大量误检把光晕圈识别为车辆原因数据集scene_004隧道入口中标注员为保召回率将部分强光晕区域标注为car但光晕无固定形状模型学到了“圆形高亮车”的错误先验。解决用OpenCV的cv2.findContours提取所有标注框内连通域若最大连通域面积框面积的30%则剔除该标注脚本见下文。实测过滤掉12.7%的噪声标注。# 过滤光晕型伪标注需配合原始图像 def filter_halo_annotations(img_path: str, label_path: str, min_contour_ratio: float 0.3): img cv2.imread(img_path, cv2.IMREAD_GRAYSCALE) with open(label_path, r) as f: lines f.readlines() valid_lines [] for line in lines: parts line.strip().split() if len(parts) ! 5: continue cls_id, x_c, y_c, w, h map(float, parts) # 转回像素坐标 h_img, w_img img.shape[:2] x1 max(0, int((x_c - w/2) * w_img)) y1 max(0, int((y_c - h/2) * h_img)) x2 min(w_img, int((x_c w/2) * w_img)) y2 min(h_img, int((y_c h/2) * h_img)) if x2 x1 or y2 y1: continue # 提取框内区域 roi img[y1:y2, x1:x2] # 二值化Otsu自动阈值 _, binary cv2.threshold(roi, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU) # 找连通域 num_labels, labels_im cv2.connectedComponents(binary) if num_labels 1: valid_lines.append(line) continue # 计算最大连通域面积 contours, _ cv2.findContours(binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if not contours: valid_lines.append(line) continue max_area max([cv2.contourArea(c) for c in contours]) box_area (x2 - x1) * (y2 - y1) if max_area / box_area min_contour_ratio: valid_lines.append(line) # 覆盖原label文件 with open(label_path, w) as f: f.writelines(valid_lines) return len(lines) - len(valid_lines) # 批量执行 for scene in [scene_004, scene_007]: for img_file in os.listdir(f{scene}/visible/images/): if img_file.endswith(.png): img_path f{scene}/visible/images/{img_file} label_path f{scene}/visible/labels/{img_file.replace(.png, .txt)} removed filter_halo_annotations(img_path, label_path) if removed 0: print(fRemoved {removed} halo annotations from {label_path})4.4 现象多卡训练时GPU显存占用突增2GBOOM崩溃原因torchvision.transforms.Resize在夜间小目标上触发内部插值缓存泄漏。当输入图像含大量16px目标时双线性插值kernel会生成超大临时张量。解决禁用Resize改用A.SmallestMaxSize(max_size720, p1.0)albumentations实现其底层用OpenCV的cv2.resize内存可控。4.5 现象导出ONNX后推理结果与PyTorch差异巨大mAP跌20原因ONNX exporter未正确处理红外通道的单通道输入。PyTorch模型输入为[B,1,H,W]但ONNX默认按3通道处理导致第一通道被复制三次。解决导出时显式指定input_names[input_visible, input_thermal]并在ONNX Runtime加载时按ort_session.run(None, {input_visible: vis_np, input_thermal: therm_np})传入。5. 模型验证与性能压测用真实夜间视频流做端到端吞吐测试不是只看val_mAP5.1 构建夜间视频测试集为什么不能直接用YouTube视频公开夜间视频如YouTube的“night driving”存在三大缺陷压缩失真严重H.264编码引入块效应与数据集原始PNG的噪声谱不匹配帧率不一致车载摄像头通常30fps而网络视频多为24/25fps运动模糊特性不同场景单一多为高速公路缺乏数据集涵盖的“无路灯支路”“施工区锥桶干扰”等挑战场景。我们构建了NightDrive-Benchmark视频集采集设备与数据集同款车载双模摄像头可见光红外内容覆盖scene_001~scene_006对应的所有6类场景每类录制3段120秒视频格式原始未压缩YUV420P可见光 RAW16红外帧率锁定30fps标注每5帧人工校验一次生成gt_{scene}_{video_id}.txtYOLO格式时间戳序列。提示该测试集不随主数据集发布需单独申请。但你可以用ffmpeg从主数据集images/合成测试视频ffmpeg -framerate 30 -i %05d.png -c:v libx264 -crf 18 -pix_fmt yuv420p test.mp4虽非原始采集但规避了网络视频的压缩污染。5.2 端到端延迟压测在Jetson AGX Orin上跑出稳定23FPS的关键配置在嵌入式平台部署时理论FLOPs不等于实际吞吐。我们在Jetson AGX Orin32GB上实测发现默认TensorRT FP16精度下可见光分支耗时18ms红外分支仅7ms但总延迟达45ms22FPS瓶颈在于CPU-GPU数据搬运每次推理需将红外图从CPU内存拷贝至GPU耗时12ms。终极优化方案将红外图预加载至GPU显存therm_tensor torch.from_numpy(therm_np).cuda().float()使用torch.cuda.Stream创建独立流处理红外分支关键红外分支输出特征图不回传CPU直接在GPU内与可见光特征concat。# Jetson优化版推理循环伪代码 therm_gpu torch.empty(1, 1, 720, 1280, devicecuda) # 预分配 stream_therm torch.cuda.Stream() with torch.no_grad(): for frame in video_stream: # 可见光处理CPU→GPU vis_tensor preprocess_vis(frame[visible]).to(cuda) # 红外处理零拷贝 torch.cuda.current_stream().wait_stream(stream_therm) # 将frame[thermal]直接memcpy到预分配的therm_gpu therm_gpu.copy_(torch.from_numpy(frame[thermal]).cuda(), non_blockingTrue) # 在独立流中执行红外分支 with torch.cuda.stream(stream_therm): therm_feat thermal_backbone(therm_gpu) # 主流执行可见光分支 vis_feat visible_backbone(vis_tensor) # GPU内concat无主机内存参与 fused_feat torch.cat([vis_feat, therm_feat], dim1) pred head(fused_feat) # 同步等待红外分支完成 stream_therm.synchronize()此方案将总延迟压至43ms23.2FPS满足实时性要求。实测连续运行8小时无内存泄漏。5.3 失败案例复盘为什么在“暴雨夜间”场景mAP暴跌至0.08我们曾用该数据集训练的模型在模拟暴雨夜间视频中失效。分析发现数据集无雨天采集原始说明中明确排除降水天气暴雨导致车灯在镜头上形成水膜散射光斑扩大3~5倍且出现环形衍射纹模型将衍射纹误认为多辆车NMS阈值0.45下仍保留多个重叠框。补救措施用A.RandomRainalbumentations生成合成雨纹但仅作用于可见光图且控制drop_length10模拟中雨、blur_value3匹配光学模糊强制要求合成雨纹区域内的标注框扩大15%模拟光斑扩散避免模型学习错误边界在损失函数中增加RainAwareLoss对雨纹密集区的定位损失加权1.5倍。从那以后我每次拿到新场景数据都强制走一遍scene_statistics.py脚本——它会扫描整个scene_*/目录输出各场景的平均亮度直方图、车灯区域信噪比、小目标占比、标注框长宽比分布。只要发现某项指标偏离主数据集均值±2σ就立刻停下手头训练先补采数据或加针对性增强。这招让我避开了三次重大线上事故希望帮到你。本文还有配套的精品资源点击获取
