YOLO26深度估计实战：从单目深度预测到多任务部署

深度估计最近在视觉社区里的热度上升得很快。过去想做单目深度估计第一反应是 MiDaS、DPT、Depth Anything 这类独立模型环境要单独配输出格式要自己接想和检测框融合还得写不少胶水代码。如果团队成员只熟悉 YOLO 系列学习成本就会更高一层。现在情况有了变化Ultralytics 生态在 YOLO26 中把深度估计Depth Estimation正式纳入了标准任务体系。这意味着模型训练、数据集组织、指标评估、推理导出都可以和 detection、segmentation、pose 共用一套流程。你不需要学习一套全新的框架只需要把你熟悉的 YOLO 经验平移过来就能在深度估计任务上快速做出可用的结果。这篇文章不打算只罗列功能。我尽量站在实际开发的角度把 YOLO26 深度估计能力拆开看它能解决什么问题、和传统深度估计方案比有什么差异、环境怎么搭、推理怎么跑、自定义数据集怎么训、模型怎么导出部署以及最容易踩的坑在哪里。如果你正在做缺陷检测、机器人抓取、自动驾驶感知或者视频深度分析这篇内容可以帮你省掉不少起步时间。1. YOLO26 深度估计任务到底解决了什么问题先说一个判断YOLO26 加入深度估计真正的意义不是“多了一个模型”而是把深度估计从独立任务变成了 YOLO 多任务体系里的一等公民。在传统工作流里深度估计的落地路径通常是这样的从 GitHub 找一个预训练深度模型比如 DPT、MiDaS、Depth Anything。单独准备一套 Python 环境处理输入预处理、归一化、输出后处理。如果要做目标检测再单独跑一个 YOLO拿检测框去截取深度值。最后自己写脚本对齐两个模型的输入输出尺寸、坐标系和推理速度。这个流程问题很明显模型维护分散、部署包体积翻倍、多模型串行推理延迟高。尤其在做边缘设备落地时两套模型同时跑显存和算力都很紧张。YOLO26 的做法不同。它把深度估计 head 直接集成到 Ultralytics 标准架构里。你训练一个模型输出里既能有检测框也能有深度图。对于多任务型应用比如机器人需要同时知道“物体在哪里”和“物体离我多远”这种一体化设计会省掉大量工程工作。从任务本质上看YOLO26 做的是单目深度估计也就是只用一张 RGB 图片预测每个像素的深度值。它和双目视差、ToF 这类需要特殊硬件的方案不同纯视觉方案的最大好处是传感器成本低、部署方便。代价是精度存在上限尤其是对纹理稀疏、光照变化大的场景会比较吃力。如果把 YOLO26 的深度估计放进 Ultralytics 生态里看它的核心价值可以总结成三点统一训练链路数据标注格式、训练配置、指标评估都复用 YOLO 的体系。统一推理输出一个模型可以同时输出 box、mask、pose、depth。统一部署链路export 到 ONNX、TensorRT、OpenVINO 等格式的流程保持一致。这意味着只要你会用 YOLO 做检测上手深度估计的学习成本就被压得很低。对一个快速迭代的项目来说这个优势是实打实的。2. 深度估计的核心概念与 YOLO26 实现思路2.1 深度估计在做什么深度估计的输入是一张普通 RGB 图像输出是和图像尺寸对应的深度图。深度图中每个像素的数值表示该位置物体到相机平面的距离。单目深度估计本质上是“从 2D 图像推断 3D 信息”的逆问题。这个任务在数学上是不适定的因为一张 2D 图像可以由无数种 3D 场景投影得到。深度学习模型之所以能做这件事靠的是从大量训练数据中学习场景结构、物体大小、透视关系、遮挡关系等先验知识。要理解深度估计的输出最重要的是区分两种深度表示深度表示含义输出范围常见用途逆深度深度的倒数0 到 1 之间适合监督训练、数值稳定绝对深度真实物理距离0 到 N 米自动驾驶、机器人导航相对深度像素间远近关系0 到 1 之间归一化图像虚化、背景分割从 Ultralytics 的常规实现思路看模型输出往往会经过归一化处理便于统一 loss 计算和可视化。如果做具体场景落地通常需要根据相机内参或者真实距离标定把网络输出映射到真实物理单位。2.2 YOLO26 的深度估计 head 长什么样从架构设计的角度理解YOLO26 做深度估计的方式并不是把原来检测、分割的 head 直接替换掉而是在 backbone 提取的多尺度特征上增加一个面向像素级预测的 head。这个 head 负责把高层语义特征逐步上采样到输入分辨率最终输出单通道深度图。理解这一点很重要。因为很多第一次接触 YOLO26 深度估计的开发者会误以为它只是在模型后面接了一个全连接层回归“一个深度值”。实际上它是像素级 dense prediction和分割任务的输出形式类似只是通道数不同分割任务输出每个像素的类别 logits通道数类别数。深度估计输出每个像素的深度值通常单通道。所以你在训练时大概率会看到和分割任务类似的现象需要控制 loss 尺度、需要做多尺度监督、需要处理边缘区域的预测模糊问题。2.3 YOLO26 深度估计与分割任务的本质区别这也是新手最容易混淆的地方。从数据结构上看深度图和分割 mask 都是逐像素输出但它们的监督信号完全不同分割 mask 的标签是离散类别。深度图的标签是连续数值。这意味着深度估计和分割在 loss 函数、评估指标、后处理上都有本质差异。分割任务常用 CrossEntropyLoss、Dice Loss深度估计则更常用 L1 Loss、L2 Loss、SILog Loss。评估指标上分割看 mIoU深度估计通常看 AbsRel、SqRel、RMSE、d1 等指标。如果你直接把分割的训练配置套用到深度估计上大概率会出现 loss 不收敛、深度图输出异常的问题。后面我会专门讲训练配置中需要注意的参数。3. 环境准备YOLO26 深度估计的前置条件YOLO26 深度估计的起步环境并不复杂核心就是 Ultralytics Python 包和对应的 PyTorch 环境。因为 Ultralytics 会同时依赖 PyTorch所以建议先确认本机有可用的 NVIDIA GPU 和合适的 CUDA 环境。没有 GPU 也可以跑通推理但训练会非常慢不建议新手用 CPU 训练深度模型。以下是通用环境要求具体版本请以实际发布文档为准本文重点演示通用流程依赖组件建议要求说明操作系统Ubuntu 20.04 或 Windows 10/11均在支持范围内Python3.8 及以上建议使用虚拟环境PyTorch2.x 及以上需与 CUDA 版本匹配CUDA11.8 或 12.x根据显卡驱动选择Ultralytics最新版支持 YOLO26 深度估计通过 pip 安装安装 Ultralytics 最简单的方式是pip install ultralytics如果你已经安装了旧版本建议升级到最新版本pip install -U ultralytics安装完成后可以验证一下导入是否正常python -c from ultralytics import YOLO; print(YOLO.__name__)如果看到输出说明环境基本可用。如果在导入时遇到依赖冲突可以使用虚拟环境隔离python -m venv yolo26_env source yolo26_env/bin/activate # Linux/macOS # 或 yolo26_env\Scripts\activate # Windows这里真正容易踩坑的地方是 PyTorch 和 CUDA 的匹配问题。建议先确认torch.cuda.is_available()返回 True再开始后面的流程否则训练时看起来在跑实际全在 CPU 上速度会慢到无法接受。4. 快速上手用 YOLO26 跑通深度估计推理环境就绪后先不要急着训练。用官方预训练权重跑一次深度估计推理是理解模型输入输出最直接的方式。4.1 推理代码示例新建一个depth_infer.py文件写入以下代码from ultralytics import YOLO # 加载 YOLO26 深度估计模型 # 具体权重名称请以当前 YOLO26 实际发布的权重文件为准 model YOLO(yolo26n-depth.pt) # 运行推理 results model(test.jpg, taskdepth) # 遍历结果 for result in results: # 查看原始深度图张量 if result.depth is not None: print(depth shape:, result.depth.shape) print(depth dtype:, result.depth.dtype) # 保存可视化深度图 result.save_depth_img(depth_visual.png)这段代码的逻辑很简单加载模型、输入图片、输出结果。result.depth是深度图张量原始的 shape 通常和输入分辨率有关。save_depth_img会将归一化后的深度图以伪彩色或其他可视化形式保存下来方便直观检查。4.2 命令行推理方式如果不想写代码直接用命令行也行yolo predict modelyolo26n-depth.pt sourcetest.jpg taskdepth运行完成后结果图片默认保存到runs/segment/predict/目录。这里要提醒一句因为深度估计和分割在输出结构上比较接近Ultralytics 的目录命名有时会沿用类似结构不要因为目录名带 segment 就觉得奇怪。4.3 判断推理是否成功拿到输出后建议从三个维度判断结果深度图是否和目标场景结构一致近处物体亮、远处物体暗墙面过渡平滑。边缘是否清晰物体轮廓处深度应该有明显跳变。异常区域是否过多如果整张图黑白噪点密集说明模型不适用当前场景。如果输出深度图全黑或全白大概率不是模型 bug而是可视化时没有做归一化。深度图原始数值范围可能很窄直接转为 8 位图会损失信息。需要根据当前场景的动态范围做 min-max 归一化。5. 训练自定义深度估计数据集推理只是热身。如果你有具体业务场景比如产线缺陷高度测量、机器人抓取深度感知就必须训练领域数据。YOLO26 深度估计的训练流程可以沿用 Ultralytics 的标准流程但数据集组织方式需要按 dense prediction 任务的格式准备。5.1 数据集目录结构推荐的数据集目录如下depth_dataset/ ├── images/ │ ├── train/ │ │ ├── scene_001.jpg │ │ └── scene_002.jpg │ └── val/ │ ├── scene_010.jpg │ └── scene_011.jpg ├── depth/ │ ├── train/ │ │ ├── scene_001.png │ │ └── scene_002.png │ └── val/ │ ├── scene_010.png │ └── scene_011.png └── depth_dataset.yaml这里关键是images目录放原图depth目录放对应的深度图。文件名一一对应。深度图的格式建议使用无损格式保存比如 PNG 或 TIFF避免 JPG 压缩引入边缘伪影。5.2 数据集配置文件新建depth_dataset.yaml# 数据集路径建议使用绝对路径或相对项目根的路径 path: depth_dataset # 图像目录 train: images/train val: images/val # 深度图目录YOLO26 深度估计需要读取对应的 depth 目录 depth: train: depth/train val: depth/val # 如果原始深度图是 16bit 存储可能需要指定 depth_scale depth_scale: 1.0这里depth_scale取决于你的深度图数值单位。如果深度值单位是毫米而模型的监督目标希望是米就需要设置depth_scale1000.0或者在数据加载时自行换算。不同数据集的单位可能不同这一步非常容易出错。5.3 编写训练脚本Ultralytics 风格下训练深度估计非常简单。新建train_depth.pyfrom ultralytics import YOLO # 使用 YOLO26 深度估计配置 model YOLO(yolo26n-depth.yaml) # 开始训练 model.train( datadepth_dataset.yaml, epochs100, imgsz640, batch16, lr00.01, device0, workers8, taskdepth, cacheTrue, )这段配置里重点参数的含义epochs训练轮数。深度估计数据集一般比检测数据更复杂建议先用 100 轮跑通再根据收敛情况调整。imgsz输入分辨率。分辨率越高深度图细节越丰富但显存占用也越大。batch根据显存调整。如果训练时 OOM先降低 batch。taskdepth明确指定任务类型。5.4 从预训练权重继续训练如果不想从零训练推荐加载官方预训练模型做迁移学习from ultralytics import YOLO # 加载预训练权重而不是重新创建网络 model YOLO(yolo26n-depth.pt) # 冻结部分主干层可以降低显存提升训练稳定性 model.train( datadepth_dataset.yaml, epochs100, imgsz640, batch16, freeze10, taskdepth, )这个方式在数据量不足的时候特别有用。深度估计模型需要学习很强的场景先验如果从头训练收敛速度和最终精度通常都不如微调预训练权重。6. 多任务训练与自定义结构谈谈 Ultralytics 里的 yaml 调整很多关注 YOLO26 的开发者同时也在研究 RT-DETR-R18/R34 这类结构想知道怎么在 Ultralytics 架构里改 yaml 文件加入深度估计 head或者把检测、分割、深度估计组合成多任务模型。这里有必要展开讲一讲。6.1 为什么要改 yamlUltralytics 的模型结构是通过*.yaml文件描述的。网络有几层、每层是什么模块、特征图升维还是降维都由 yaml 里的backbone和head两段配置决定。你想在 RT-DETR-R18/R34 这类主干上加入深度估计头核心步骤就是在 yaml 的 head 段中注册深度估计分支。一个简化的思路是先准备一个 RT-DETR-R18 的 yaml然后在其 head 末尾增加一个额外的卷积上采样分支输出通道数为 1得到深度图。以伪配置为例# 简化的 yaml 结构示意具体参数需参考 Ultralytics 实际格式 backbone: - [-1, 1, RTDETRReplC2f, [512, 3]] # P4 - [-1, 1, RTDETRReplC2f, [1024, 3]] # P5 head: - [-1, 1, RTDETRTransformer, [768, 6, 4, 1, 1024]] # 原检测头上下文 - [-1, 1, RTDETRConv, [256, 3]] # 新增深度估计分支上采样到原图 1/4 分辨率 - [-1, 1, nn.Upsample, [None, 2, nearest]] - [-1, 1, Conv, [64, 3, 1]] - [-1, 1, Conv, [1, 3, 1]] # 输出单通道深度图这只是示意图不代表官方结构。真正要跑通需要你对 Ultralytics 的任务注册机制有一定了解。如果对模块细节不熟悉最稳妥的方式是复制官方提供的 depth 模型 yaml在其基础上逐步添加其他任务分支而不要从零写一个结构。这里真正容易踩坑的地方是yaml 中模块的from索引、输入通道数和输出通道数必须对上。一旦某一个中间层通道数写错训练时会出现维度不匹配的错误而且这类错误往往要跑到第一次 forward 才会报出来排错成本比较高。6.2 多任务联合训练的意义如果你的业务里既需要检测目标位置又需要知道目标距离多任务联合训练会比两个模型分开部署更高效。联合训练时模型共享 backbone 特征检测分支和深度分支可以互相促进比如检测分支学到清晰的目标边界有助于深度分支在边缘处输出更锐利的深度跳变。代价是训练显存会变大、超参数调优更复杂损失权重也需要平衡。建议从低权重开始先让检测分支收敛再逐步加大深度分支的 loss 权重。7. 部署落地导出、C 推理与边缘设备适配模型训练完成后最终要落地到业务系统。Ultralytics 生态在这块已经很成熟深度估计模型的导出链路和检测模型完全一致。7.1 导出 ONNX 模型from ultralytics import YOLO model YOLO(yolo26n-depth.pt) model.export(formatonnx, opset17, imgsz640)导出的 ONNX 模型可以在 CPU 或 GPU 环境推理。如果你想进一步提升 GPU 推理速度可以导出 TensorRTmodel.export(formatengine, imgsz640, halfTrue)7.2 C 部署思路导出 ONNX 后C 部署通常使用 ONNX Runtime 或 TensorRT。核心流程是加载 ONNX 模型创建推理会话。将输入图片裁剪缩放到模型要求的分辨率。转为 CHW 格式float 类型并做归一化。执行推理。将输出张量 reshape 为 1x1xHxW 的深度图。根据实际范围将深度值映射到可视化区间。ONNX Runtime C API 的最小推理片段如下示意#include onnxruntime_cxx_api.h #include vector #include algorithm Ort::Env env(ORT_LOGGING_LEVEL_WARNING, yolo26-depth); Ort::SessionOptions session_options; Ort::Session session(env, yolo26n-depth.onnx, session_options); // 构造输入张量 std::vectorint64_t input_shape {1, 3, 640, 640}; Ort::MemoryInfo memory_info Ort::MemoryInfo::CreateCpu( OrtArenaAllocator, OrtMemTypeDefault); Ort::Value input_tensor Ort::Value::CreateTensorfloat( memory_info, input_data.data(), input_data.size(), input_shape.data(), input_shape.size()); // 运行推理 auto output_tensors session.Run( Ort::RunOptions{nullptr}, input_names.data(), input_tensor, 1, output_names.data(), output_names.size()); // 拿到深度图原始张量 const float* depth_data output_tensors[0].GetTensorDatafloat();C 部署需要注意三个问题预处理逻辑必须和训练时一致输出后处理要根据模型输出格式做通道维度和归一化处理如果使用 TensorRT 导出模型输入名称可能变化需要在导入时确认。7.3 RK3588 等边缘设备适配RK3588 这类边缘设备目前是很多工业项目的落地目标。它们对 PyTorch 支持不友好比较通用的路线是训练结束导出 ONNX再通过 RKNN 工具链转换为 RKNN 格式。流程一般如下导出 ONNXPyTorch 侧完成 - 使用 RKNN 工具做模型转换和量化 - 在板端使用 RKNN C API 或 Python API 推理转换时最影响深度估计精度的环节是量化。深度图的数值范围跨度较大如果简单做 uint8 量化远近距离差异可能被压缩。建议保留至少一个输出层为 float16或者使用混合量化策略优先保证深度 head 的精度。8. 常见问题与排查思路YOLO26 深度估计虽然上手快但实际开发中还是会遇到不少问题。这里整理几种高频情况问题现象可能原因排查方式解决方案安装 ultralytics 后导入报错与旧版依赖冲突查看完整报错日志检查 torch 版本新建虚拟环境重新安装推理输出深度图全黑深度图动态范围窄未做归一化打印深度值 min/max使用 min-max 归一化或直方图均衡深度图全白输出中包含大量无效区域检查原始深度图中是否有 NaN 或 0在预处理阶段过滤无效深度值训练 loss 下降缓慢学习率过大或过小尝试不同 lr0 初始值使用预训练权重微调训练时显存不足batch imgsz 设置过大查看 nvidia-smi 显存占用调小 batch 或 imgsz开启梯度累计边缘处深度模糊模型对边缘监督不够检查训练数据深度图是否清晰提高深度图标注质量增大边缘样本权重导出 ONNX 后输出 shape 异常模型配置的 imgsz 与导出不一致检查导出参数导出时显式指定 imgszRKNN 转换后深度精度下降量化精度损失检查量化配置对深度 head 使用 float16 或混合精度遇到问题时第一步先看日志第二步确认数据第三步再怀疑代码。很多深度估计的“异常输出”其实是可视化问题或数据预处理问题不是模型本身有问题。9. 最佳实践与工程建议9.1 数据层面深度估计模型对数据质量非常敏感。训练数据里如果混入了深度标注缺失的图像模型会在这些区域学到错误的输出。建议在训练前做一次全量数据检查确认每张深度图都能和原图对齐。确认深度图没有大面积空洞。确认深度值单位统一不要混用米、毫米、厘米。跨场景数据需要保持相机内参一致至少要在配置中记录相机型号。如果深度图来自 RGB-D 相机还要注意同步问题。原图和深度图拍摄时间存在微小差异会造成边缘错位对精度影响很大。9.2 训练层面优先使用预训练权重微调不要轻易从随机初始化开始训练。使用cacheTrue提前缓存数据集可以显著减少训练时的图片加载瓶颈。深度估计的建议初始学习率一般比检测低一些如果 loss 振荡明显可以降低 lr0。训练过程中定期保存可视化深度图用眼睛看比只看指标更直观。指标上除了看 AbsRel、RMSE也要关注d1这类阈值准确率指标因为对业务更可解释。9.3 部署层面深度估计模型导出前建议在一个固定分辨率下训练和验证导出时保持相同分辨率。CPU 部署优先考虑 ONNX RuntimeGPU 部署优先考虑 TensorRT。边缘设备部署要尽早做量化验证不要等模型训练全部结束后才开始转换。如果深度图要用于后续测量建议在业务代码中做中值滤波或边缘保持滤波降低单帧预测噪声。生产环境需要记录每一帧深度图的 min/max 和缺失率一旦出现大面积无效输出可以及时告警。9.4 安全与合规提醒无论深度估计用于哪种场景都要注意数据合规问题。采集真实场景的深度数据时如果涉及人员、车辆、厂区等敏感区域需要确认数据来源合法、脱敏到位。模型发布前建议评估深度输出是否可能被用于安全敏感用途并遵循最小授权原则避免数据被滥用。9.5 多任务部署注意如果你在同一个模型中同时跑检测和深度估计要注意两个 head 对输入分辨率的敏感度可能不同。检测在大分辨率上通常涨点明显深度估计则更依赖特征细节。建议在实验阶段分别评估两个任务在imgsz640和imgsz1280下的表现再做权衡。10. 总结与下一步实践建议YOLO26 把深度估计纳入 Ultralytics 统一体系确实降低了视觉团队上手深度任务的门槛。核心收益可以概括为一套环境、一套流程、一个模型同时解决检测和深度预测需求。对于有具体业务场景的团队这是值得验证的技术路线。这篇文章里我们完整走了一遍环境搭建、预训练推理、自定义数据集训练、yaml 结构调整、ONNX/TensorRT 导出、C 和边缘设备部署的思路。你可以照着这篇文章先用自己的几张真实图片跑通预训练模型推理感受深度图输出是否符合预期再决定是否投入标注资源做微调。如果你已经在用 RT-DETR-R18/R34 这类架构探索把检测和深度估计分支做进同一个 yaml 是很好的进阶方向。不过建议先跑通官方标准任务再动手改结构避免一开始就陷入维度匹配的排错泥潭。下一步可以重点关注三件事一是在你自己的业务数据上评估预训练模型的零样本效果二是熟悉 Ultralytics 训练日志中深度估计相关指标的含义三是提前设计好部署阶段的量化验证方案。这三个点都做扎实了YOLO26 深度估计在项目里落地就会顺畅很多。