[具身智能-611]：JPG / RAW / NV12 格式深度解析（适配 RDK X5 MIPI 相机场景）

表格格式类型压缩存储内容典型用途CPU 开销JPG封装图像有损压缩有损压缩RGB 压缩码流图片存储、网页推流、websocket解压开销中等RAW传感器原始裸数据无压缩Sensor 光电原始采样Bayer 拜耳相机底层调试、图像标定极高必须 ISP 做去马赛克NV12YUV 平面格式未压缩无压缩亮度 Y 交错 UVMIPI 相机输出、硬件编解码、BPU 推理输入极低嵌入式标准格式1. RAWBayer Raw传感器原始数据核心说明The data directly output by the MIPI camera sensor isnot an image, but merely the photoelectric signal collected by photosensitive diodes. Common formats:RGGB8/RGGB10(OV5647/IMX219/IMX335). Data arrangement example (RGGB):plaintextR G R G G B G B R G R G G B G B✅ 需要经过ISP 流水线才能生成可视图像 去马赛克 (Demosaic) → 白平衡 → 降噪 → 伽马校正 → 输出 YUV (NV12)工程特点只能在最前端获取mipi_cam 底层 VIO 接收层一旦经过 ISP输出就不再是 RAW。文件后缀常见.raw/.bayer无法直接使用普通图片软件打开。适用场景镜头标定、调试 Sensor 寄存器、排查曝光 / 噪点问题。⚠️不能直接送入 FCOS/YOLO 神经网络网络只能接收 YUV/RGB。在地平线 Demo【2. 摄像头图像本地保存】中可以选择抓取RAW 帧用于底层调试。2. NV12YUV420 Semi-Planar重中之重内存布局关键分为两个平面连续存放Y 平面全部亮度信息分辨率 H × WUV 平面色度信息U、V 交错存储分辨率 H/2 × W/2plaintextYYYYYYYY YYYYYYYY UVUVUVUV UVUVUVUV采样比例 4:2:0色度分辨率宽高各减半。嵌入式核心优势RDK X5 标准MIPI相机 ISP 默认输出格式你的mipi_cam节点/image_combine_raw话题就是 NV12硬件编解码原生支持hobot_codec H264/H265 编码输入优先使用 NV12VPS、BPU 零拷贝友好地平线硬件单元全部原生支持 NV12避免转 RGB 带来内存拷贝相比 RGB24 节省50% 内存带宽。常见坑NV12没有文件头单纯二进制数据保存成文件后播放器无法直接打开必须附带分辨率。AI 推理注意网络输入要求 RGB 时需要在 ISP/VPS 或 CPU 完成 NV12→RGB 转换。3. JPGJPEG有损压缩图像核心说明基于 YUV420 进行离散余弦有损压缩带文件头、元信息通用图片格式。在项目里的链路位置NV12 图像 → hobot 硬件 JPEG 编码器 → JPG 码流 对应你日志里的参数out_format: jpeg、jpg_quality:85、websocket 接收/image_combine_jpeg✅优点通用、体积小浏览器直接解码❌缺点有损压缩损失图像细节不建议送入 AI 目标检测网络多一层编码开销不适合作为算法输入仅用于预览、上传、存档。在整套视觉链路中的标准数据流推荐plaintextMIPI Sensor → RAW(Bayer) → ISP处理 → NV12主链路 ├─分支1NV12直接送入VPS缩放 → FCOS/YOLO推理最优无多余转换 ├─分支2NV12送入硬件JPEG编码器 → JPG → websocket网页预览 ├─分支3NV12送入H264编码器 → .h264视频录像 ├─分支4调试抓帧保存RAW底层调试 / 保存NV12算法调试选型决策速查表AI 算法推理输入→ 优先NV12禁止使用 JPG网页远程预览、截图存档→JPG调试 Sensor、标定镜头、排查底层图像问题→RAW本地硬件编码录像→ 使用原始 NV12 送入编码器补充实操RDK X5mipi_cam 输出话题/image_combine_raw NV12hobot_codecNV12 → JPG / H264如果你保存裸 NV12 文件播放命令示例必须指定分辨率bash运行ffplay -f rawvideo -pixel_format nv12 -video_size 1280x720 frame.nv12p运行ffplay -f rawvideo -pixel_format nv12 -video_size 1280x720 frame.nv12