nuScenes数据集

一、数据集简介nuScenes是由自动驾驶公司Motional原nuTonomy发布的大型自动驾驶公开数据集是目前自动驾驶感知领域最权威、使用最广泛的基准数据集之一。数据集采集于波士顿和新加坡两座城市的真实道路场景涵盖城市道路、高速公路、住宅区等多种复杂驾驶环境。nuScenes数据集以多传感器融合为核心特色每帧数据同时包含相机图像、激光雷达点云、毫米波雷达数据以及高精度的3D目标标注广泛应用于3D目标检测、多目标跟踪、BEV感知、语义分割等自动驾驶感知算法的研究与评测。二、传感器配置nuScenes采集车辆搭载了完整的多传感器套件所有传感器均经过严格的时间同步与空间标定。一相机系统● 共6路环绕式相机覆盖车辆周围360°视野● 相机命名CAM_FRONT前视、CAM_FRONT_LEFT前左、CAM_FRONT_RIGHT前右、CAM_LEFT左侧、CAM_RIGHT右侧、CAM_BACK后视● 图像分辨率1600×900像素● 采样帧率关键帧2Hz中间帧约12Hz二激光雷达● 1路顶部激光雷达LIDAR_TOP● 32线机械式激光雷达垂直视场-30°至10°● 采样帧率关键帧2Hz中间帧约10Hz● 每帧约34万个点探测距离约100米三毫米波雷达● 共5路毫米波雷达分布于车辆四周● 提供速度、距离、角度等低维特征不受光照和天气影响四定位与IMU● 高精度GPSIMU组合定位系统● 提供厘米级精度的自车位姿数据三、数据组织结构nuScenes数据分为两大类别samples关键帧和sweeps中间扫频帧二者在采样频率、标注属性和用途上有显著区别。对比维度samples 关键帧sweeps 中间帧采样频率2 Hz每0.5秒一帧相机约12Hz激光雷达约10Hz3D人工标注有完整的人工标注真值无仅原始传感器数据多传感器同步全传感器严格时间对齐各传感器独立采样无全局硬同步数据量较少基准标注集较大约为samples的5~6倍训练作用监督学习的真值基准时序特征补充、无监督预训练评测使用官方指标统一评测基准不直接用于指标计算一samples 关键帧samples是数据集的标注基准关键帧是全传感器严格时间同步的采样时刻也是官方提供人工3D标注的唯一数据。每个sample关键帧包含一整套同步采集的6路相机图像、1路激光雷达点云、多路毫米波雷达数据以及对应时刻的自车位姿和完整的3D目标标注框。单帧3D目标检测、单帧BEV感知算法如BEVFormer、PETR等的主力训练与验证数据均基于samples关键帧损失计算和指标评测都基于关键帧标注进行。二sweeps 中间帧sweeps是关键帧之间的高频率中间采样帧只有原始传感器数据没有人工标注的3D真值。相机每秒约12帧图像其中2帧属于samples关键帧剩余10帧都在sweeps中激光雷达每秒约10帧点云其中2帧属于samples关键帧剩余8帧都在sweeps中。sweeps主要用于时序类算法输入时序BEV模型如BEVFormer时序版、PETRv2、多帧点云检测算法会将过去若干帧sweeps数据投影融合到当前关键帧补充时序运动信息以提升检测精度。训练损失只在samples关键帧上计算sweeps仅作为输入特征的补充。四、JSON标注文件体系nuScenes的元数据与标注全部以JSON格式存储相当于数据集的关系型数据库表各文件通过唯一tokenID标识互相关联原始图像、点云文件则单独按路径存放。一核心标注文件● sample_annotation.json3D目标检测的核心真值文件所有3D bounding box标注都存储于此。每个条目是一个3D标注框包含所属sample、instance、category以及3D框的尺寸、位置、旋转角度车身坐标系下。● sample.json数据集的最小帧单元代表一个时间戳下的多传感器同步快照对应训练时的一个输入样本。每个sample对应一个关键时间戳关联所属scene、时间戳、前后帧sample token。● sample_data.json所有原始传感器文件的索引目录每一张图片、每一帧点云、每一帧雷达数据都对应一条记录包含所属sample、对应标定传感器、自车位姿、文件路径、时间戳、图像尺寸等。● instance.json对同一个物理物体在整段场景中的唯一标识实现跨帧的物体跟踪关联。同一物体在不同帧的3D标注共享同一个instance token。二传感器与标定文件● sensor.json定义传感器硬件本身的基础属性只描述硬件型号和类型不包含标定参数。包含传感器名称、传感器类型camera/lidar/radar、硬件型号。● calibrated_sensor.json存储每一路传感器的标定参数内参外参是BEV算法做相机投影、坐标转换的核心文件。每个条目对应一个安装位置的传感器加一辆采集车的标定结果包含外参传感器到车身坐标系的平移和旋转以及相机内参矩阵、畸变系数。● ego_pose.json记录每一时刻采集车辆自身的全局位姿位置朝向用于车身坐标系与全局地图坐标系的转换也用于多帧点云拼接、时序对齐。三分类与属性文件● category.json定义数据集全部3D目标检测的物体分类体系采用层级化分类大类→子类如vehicle.car、human.pedestrian.adult、movable_object.trafficcone等。● attribute.json对物体类别做补充状态描述不改变分类只标注目标的动态属性如vehicle.moving行驶中车辆、vehicle.stopped静止车辆、pedestrian.sitting_lying_down坐卧行人。● visibility.json定义目标物体可见程度的分级标准用于标注遮挡程度通常分为4个等级0-40%、40-60%、60-80%、80-100%。四场景与地图文件● scene.json定义一段连续的行车场景序列由数十个连续的sample关键帧组成单段时长约20秒。用于时序类任务也常用于划分训练/验证集。● log.json记录每一段数据采集行程的元信息对应一次完整的行车录制片段包含采集城市/地点、采集车辆编号、录制日期、对应地图版本等。● map.json高精语义地图的索引文件存储车道线、人行道、停止线等矢量地图的元数据主要服务于BEV语义分割、车道线感知、规划类任务。五、数据关联逻辑nuScenes各JSON文件通过token形成完整的关联网络从宏观到微观的层级关系如下scene场景→ sample关键帧→ sample_data单传感器数据图像/点云↘ sample_annotation3D标注框→ category / instance / attribute / visibilitylog采集日志→ calibrated_sensor标定参数→ sensor硬件六、数据集规模与典型应用一数据规模● 训练集约28000个关键帧700段场景● 验证集约6000个关键帧150段场景● 测试集约6000个关键帧150段场景标注不公开● 标注目标类别23类常见交通参与者含车辆、行人、骑行者、交通设施等● 总标注框数超过140万个3D标注框二典型应用场景● 3D目标检测基于相机、激光雷达或多模态融合的3D检测算法评测● BEV鸟瞰图感知BEVFormer、PETR等BEV算法的主流训练与评测基准● 3D多目标跟踪基于时序数据的多目标跟踪算法研究● 语义分割与全景分割点云或图像的语义/全景分割任务● 多传感器融合相机、激光雷达、雷达的融合感知算法研究七、官方评测指标nuScenes官方提供统一的评测基准核心指标包括● mAPmean Average Precision3D目标检测的平均精度均值是最核心的检测精度指标● NDSnuScenes Detection Score综合检测评分综合考虑mAP、平移误差、尺度误差、朝向误差、速度误差、属性误差等多个维度● AMOTA / AMOTP多目标跟踪的准确率与精度指标所有官方评测均基于samples关键帧的标注进行确保不同算法之间的公平对比。