简介面向计算机视觉研究者与具备深度学习基础的开发者这份基于神经网络的RGB-D图像分割项目围绕深度感知卷积网络展开重点解决仅依赖彩色图像时复杂几何场景分割不准的问题可服务于机器人导航、增强现实与三维重建等任务的算法复现和二次开发。压缩包为zip格式共70个文件、约86KB以41个Python源码和10个pyc文件为主体辅以C/C头文件、C源文件、shell脚本及CUDA核文件体现训练、测试与模型定义的工程结构。目录涵盖数据集加载、Deeplab与Deeplab_HHA模型、损失函数、可视化工具和训练测试脚本便于读者梳理RGB与深度特征融合、基础网络替换、数据适配及超参数调整流程。已有1414人学习适合从代码层面掌握DepthAware CNN架构并开展分割实验的读者。1. RGB-D 分割这件事单靠彩色图真的不够我接手过一个室内机器人视觉的小活客户的要求很朴素把地面、墙面、桌子、椅子和杂物分开。彩色图训练出来的 CNN 分割模型在光照正常的白天能到八成多一到背光柜子底下、白墙和白桌面前椅子腿和墙脚线就糊成一片。换成 RGB-D 数据之后同样的网络骨架只多了一条深度分支那几个类别的 IoU 直接往上跳了六七个点因为深度图天然把“同一个平面的东西”和“前后层叠的东西”分开了。这份 RGB-D 语义分割项目做的就是这件事双分支编码器分别吃彩色和深度在中间做跨模态融合再解码成逐像素类别。适合手上有深度相机、正在做室内场景理解或机器人抓取的开发者也适合想把单模态分割模型升级成多模态的算法同学。2. 网络骨架拆解两条编码分支怎么在中层握手整个模型可以拆成四段数据入口、RGB 与深度两条编码分支、跨模态融合模块、解码器加辅助监督头。这个顺序也是我读别人代码的习惯先看输入长什么样再看特征在哪一层合并最后看输出怎么监督。项目里所有模型代码集中在models/下rgbd_segmenter.py是总装文件把backbone.py、fusion.py、decoder.py串起来读代码从总装文件倒推最省事。有一个设计取舍值得先说清楚融合位置。常见做法有两种一种是在输入端就把深度图堆成四通道让网络自己学另一种是在编码器中间层做跨模态交互。前者实现简单但深度信息容易被彩色纹理淹没后者要多写融合模块但效果稳。这个项目选的是后者融合点放在编码器每个 stage 的输出上浅层融细节、深层融语义。2.1 数据管线深度图的无效值和归一化是第一个坎深度图不像灰度图它的像素值是物理距离单位可能是毫米也可能是米还经常混着 0 或者 65535 这种表示“测不到”的无效值。如果直接把原始深度除以 255 喂进网络模型学到的全是噪声。项目在datasets/rgbd_dataset.py里做了两件事把无效值掩掉再按场景的深度范围做线性归一化。import numpy as np import cv2 import torch def load_depth(path, min_d0.4, max_d6.0, invalid_thresh1e-3): 读取 16 位深度图并归一化到 [0, 1] min_d / max_d: 场景有效深度范围米按相机安装高度和作业半径调整 invalid_thresh: 小于该值视为无效测量统一用 0 填充 depth cv2.imread(path, cv2.IMREAD_UNCHANGED) # 关键保留 16 位不能走默认 8 位 depth depth.astype(np.float32) / 1000.0 # 毫米转米按实际采集格式改 valid depth invalid_thresh depth np.clip(depth, min_d, max_d) depth (depth - min_d) / (max_d - min_d) depth[~valid] 0.0 # 无效区域置零配合后面的 mask return depth, valid.astype(np.float32) def collate_depth(batch): 把深度图和有效性掩码一起打包成张量 depths torch.from_numpy(np.stack([b[0] for b in batch])).unsqueeze(1) masks torch.from_numpy(np.stack([b[1] for b in batch])).unsqueeze(1) return depths, masks逻辑说明第一步用IMREAD_UNCHANGED保住位深这一步漏了后面全白搭因为 8 位读取会把超过 255 的值截断深度图看上去就是一片死白。第二步做单位换算和截断把远景和近景的极端值压回场景关心的区间。第三步把无效区域单独标记成 mask 而不是简单置零因为置零之后“贴脸的物体”和“测不到”在数值上无法区分后面融合模块要靠这个 mask 决定是否采信深度特征。参数说明min_d和max_d必须跟实际相机量程、安装高度对齐。我见过有人直接抄了 0.1 到 10 米结果作业半径只有两米深度分支输出的动态范围被压缩到两成梯度几乎推不动。invalid_thresh用来兜住那些 0 值噪点室内结构光相机在反光地面和玻璃上出无效值是常态这个阈值别设成 0。数据增强这块彩色图可以做随机缩放、裁剪、颜色抖动深度图只能跟着做几何变换而且插值方式必须用最近邻。双线性插值会在物体边缘生成物理上不存在的中 depth 值等于凭空造出斜面模型会学歪。2.2 双分支编码器与跨模态门控融合编码器两条分支都用了带残差连接的分组卷积结构宽度按 1/2、1/4、1/8、1/16 逐级下采样。RGB 分支初始化用 ImageNet 预训练权重深度分支从零开始训因为三通道预训练权重对单通道深度图没有迁移意义。这一点经常被忽略有人把深度图复制三份塞进预训练分支前期收敛快但到后期精度反而卡住。融合模块是这份代码里最值得看的部分用的是门控式的空间注意力先把两条分支的特征拼起来算一个 0 到 1 的权重图再用它去加权深度特征最后加回 RGB 特征。import torch import torch.nn as nn import torch.nn.functional as F class CrossModalGate(nn.Module): 跨模态门控融合用 RGB 特征作 query决定每个空间位置采信多少深度信息 def __init__(self, ch): super().__init__() self.rgb_proj nn.Conv2d(ch, ch, 1, biasFalse) self.dep_proj nn.Conv2d(ch, ch, 1, biasFalse) self.gate nn.Sequential( nn.Conv2d(ch * 2, ch // 4, 3, padding1, biasFalse), nn.BatchNorm2d(ch // 4), nn.ReLU(inplaceTrue), nn.Conv2d(ch // 4, ch, 1), nn.Sigmoid(), ) self.out nn.Sequential( nn.Conv2d(ch, ch, 3, padding1, biasFalse), nn.BatchNorm2d(ch), nn.ReLU(inplaceTrue), ) def forward(self, rgb_feat, dep_feat, depth_maskNone): # 对齐通道与分辨率深度分支上采样回 RGB 分支尺寸 dep_feat F.interpolate(dep_feat, sizergb_feat.shape[-2:], modebilinear, align_cornersFalse) g self.gate(torch.cat([rgb_feat, dep_feat], dim1)) if depth_mask is not None: m F.interpolate(depth_mask, sizeg.shape[-2:], modenearest) g g * m # 无效深度区域直接关掉门控退回纯 RGB fused self.rgb_proj(rgb_feat) g * self.dep_proj(dep_feat) return self.out(fused)逻辑说明gate子网络吃的是 RGB 和深度拼接后的特征输出逐像素的权重图。用 sigmoid 而不是 softmax是因为两条模态并不是互斥关系某个位置可以同时依赖彩色纹理和几何形状权重取 0.5 附近很常见。depth_mask那一步很关键玻璃、镜面、黑色吸光材质上深度无效如果不把门控关掉模型会拿一堆零值特征做加权输出直接塌掉。最后用 1×1 卷积做投影再相加比直接 concat 省参数也方便后面接解码器。参数说明ch是当前 stage 的通道数四个 stage 分别传 64、128、256、512 就行。门控中间层降到ch // 4是为了控制参数量实测再宽收益很小。如果显存吃紧可以把dep_proj换成深度可分离卷积精度掉不到半个点。还有个小细节深度分支的 BN 在 batch size 小于 8 的时候统计量抖得厉害我一般把深度分支的 BN 换成 GroupNorm或者干脆冻住 BN 的 running stats只更新可学习参数。这个改动对最终 mIoU 的影响比换什么花哨的注意力都大属于玄学但有效的调参经验。2.3 解码器与多尺度辅助监督解码器是标准的自顶向下结构每级上采样后和编码器对应 stage 的融合特征做跳连最后 4 倍上采样回原图分辨率。解码器里有个容易写错的地方跳连之前要先把融合特征过一层 1×1 卷积压通道否则通道数对不上只能在 concat 前临时补齐代码会变得很难看。辅助监督挂在编码器第 3、4 个 stage 后面各自接一个轻量分类头用 1/8 和 1/16 分辨率的标签下采样做监督。作用是给深层特征更直接的梯度缓解小目标在深层被稀释的问题。训练时辅助损失权重取 0.4推理时直接丢掉这些头不影响速度。class RGBDSegmenter(nn.Module): def __init__(self, num_classes13, aux_weight0.4): super().__init__() self.rgb_enc RGBEncoder(widths[64, 128, 256, 512]) self.dep_enc DepthEncoder(widths[64, 128, 256, 512]) self.fusions nn.ModuleList([CrossModalGate(c) for c in [64, 128, 256, 512]]) self.decoder Decoder(widths[64, 128, 256, 512], num_classesnum_classes) self.aux_heads nn.ModuleList([ nn.Conv2d(256, num_classes, 1), nn.Conv2d(512, num_classes, 1), ]) self.aux_weight aux_weight def forward(self, rgb, depth, depth_maskNone): feats_r, feats_d, aux_logits [], [], [] r, d rgb, depth for i, (re, de, fu) in enumerate(zip(self.rgb_enc.stages, self.dep_enc.stages, self.fusions)): r re(r) d de(d) f fu(r, d, depth_mask) # 每个 stage 融合一次 feats_r.append(f) if i 2: aux_logits.append(self.aux_heads[i - 2](f)) logits self.decoder(feats_r) if self.training: return logits, [a * self.aux_weight for a in aux_logits] return logits逻辑说明主循环按 stage 逐个前向RGB 和深度特征在每一级都过一次门控融合融合结果同时喂给解码器和辅助头。depth_mask一路透传保证无效深度在任何尺度上都不会污染特征。训练分支返回主 logits 和辅助 logits 列表推理分支只返回主 logits这样部署时导出图里不会带多余算子。参数说明num_classes按你的标签体系改室内场景常见 13 类或 40 类。aux_weight设 0.4 是经验值如果发现浅层辅助头的 loss 一直震荡往下调到 0.2如果小目标召回明显偏低往上提到 0.6 试试。辅助头的输入通道要跟它接的 stage 对齐改网络宽度时这两处最容易漏改。3. 把项目跑起来环境、数据和三条命令拿到一份分割项目最怕的是环境装完发现数据格式对不上。这一节按“先看目录、再装依赖、然后验数据、最后开训”的顺序走每一步都给验证手段保证出问题能定位到具体环节而不是对着一段 loss 曲线干瞪眼。3.1 目录结构与依赖安装项目根目录按职责分了六块训练、评估、推理三个入口都在engine/下工具脚本放tools/配置全走 yaml不把超参写死在代码里。rgbd-seg/ ├── configs/ │ ├── rgbd_indoor.yaml # 主配置数据路径、模型宽度、训练轮数 │ └── rgbd_indoor_small.yaml # 小显存配置降分辨率、减 batch ├── datasets/ │ ├── rgbd_dataset.py # 数据读取、深度归一化、mask 生成 │ └── transforms.py # 几何增强深度用最近邻 ├── models/ │ ├── backbone.py # 双分支编码器 │ ├── fusion.py # 跨模态门控融合 │ ├── decoder.py # 解码器与跳连 │ └── rgbd_segmenter.py # 总装 ├── losses/ │ └── combined_loss.py # 交叉熵 边界损失 ├── engine/ │ ├── train.py │ ├── evaluate.py │ └── infer.py ├── tools/ │ ├── check_dataset.py # 校验对齐、位深、标签取值 │ └── export_onnx.py ├── requirements.txt └── README.md依赖不多核心就是 PyTorch、OpenCV、NumPy、PyYAML 和 tqdm训练日志用 tensorboard 可选。装环境的时候注意 OpenCV 要用完整版而不是 headless 版cv2.imread读 16 位 depth 在某些精简包里行为不一致。python -m venv .venv source .venv/bin/activate pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 pip install opencv-python numpy pyyaml tqdm tensorboard python -c import torch, cv2; print(torch.__version__, torch.cuda.is_available(), cv2.__version__)第二条命令的cu121按你自己的驱动版本改最后一个print是自检cuda_available为 False 时先别急着跑训练去查驱动和 torch 版本是否匹配。这套检查我每次都做血泪经验曾经因为装成 CPU 版本白等了四十分钟才发现的。3.2 数据准备与配置项怎么改数据目录约定成data/scene/rgb/*.png、data/scene/depth/*.png、data/scene/label/*.png三路同名文件标签是单通道索引图取值从 0 到num_classes-1255 表示忽略。这个约定写死在datasets/rgbd_dataset.py里换数据集只要保持目录结构不用改代码。配置文件的字段不多但每个都影响训练能不能正常收敛配置项含义常见取值改错的后果data.root数据根目录绝对路径报 FileNotFound比较容易发现data.depth_scale深度图单位换算系数1000毫米转米深度范围全错分支输出饱和data.depth_range有效深度区间[0.4, 6.0]区间过窄丢远景过宽压低对比度train.crop_size随机裁剪尺寸480×480 或 512×512太小丢上下文太大爆显存train.batch_size批大小816小于 4 时 BN 统计量不稳train.lr主干学习率1e-43e-4太大发散太小前期几乎不动model.width编码器基础宽度32 或 48影响显存和最终精度改配置之前建议先跑一遍数据自检脚本它会抽样打印 RGB、深度、标签三者的尺寸是否一致、深度有效像素占比、标签取值范围。有效像素占比低于 60% 的场景要单独看一眼那种场景多半是反光或者距离过近得考虑是不是直接剔掉。python tools/check_dataset.py --root data/indoor --num-samples 200输出里会列出每个场景的深度有效率和不含忽略像素的标签比例。这一步没做直接开训很可能训到一半 loss 变 NaN回头再查就费劲了。3.3 训练、评估、单张推理三条命令训练入口用单文件跑配置走参数传入命令行覆盖配置里的字段方便做对比实验不污染 yaml。python engine/train.py \ --config configs/rgbd_indoor.yaml \ --batch-size 8 \ --epochs 80 \ --lr 2e-4 \ --amp \ --output runs/exp_rgbd_v1参数说明--amp开混合精度双分支模型显存占用大约能降三成训练速度提两成左右精度损失通常在 0.2 个点以内。--output指定日志和权重保存目录里面会存best.pth、last.pth和 tensorboard 事件文件。学习率默认按 poly 策略衰减前 5 个 epoch 做 warmup如果数据集规模不到两千张把--epochs降到 40 左右就够训太久会过拟合到训练集的纹理上。评估脚本单独跑读best.pth出 mIoU 和逐类 IoU 表顺便把混淆矩阵存成 npy 方便后面分析混淆最多的类别对。python engine/evaluate.py \ --config configs/rgbd_indoor.yaml \ --ckpt runs/exp_rgbd_v1/best.pth \ --split val \ --save-confusion runs/exp_rgbd_v1/confusion.npy单张图推理用来肉眼验证输出一张彩色叠加图和一张纯预测图叠加图里原始 RGB 保留七成、预测颜色占三成方便看边界贴不贴。python engine/infer.py \ --ckpt runs/exp_rgbd_v1/best.pth \ --rgb demo/rgb.png \ --depth demo/depth.png \ --out demo/pred.png提示推理脚本默认把深度图按depth_scale1000处理如果你的深度图已经是米为单位记得在命令里加--depth-scale 1.0否则整个深度分支的输入会被压到接近零。三条命令跑通项目就算落地了。后面所有改造都在这个基础上做先保证 baseline 能复现再去动结构。4. 训练调参与指标验证类别不平衡是绕不过去的坎室内场景的标签分布是典型的长尾墙面和地面能占到六成像素剩下十几类挤在不到四成的空间里。如果只用一个交叉熵模型大概率学成“什么都是墙”mIoU 看着还行实际完全没法用。这一节把损失函数、评估脚本和训练曲线排查串起来讲都是实际训练时真正会动手改的地方。4.1 损失函数怎么组合项目的losses/combined_loss.py里组合了三项交叉熵、边界损失和类别权重。三项各司其职交叉熵负责整体像素分类边界损失盯住物体轮廓类别权重压住长尾。import torch import torch.nn as nn import torch.nn.functional as F class CombinedLoss(nn.Module): def __init__(self, num_classes, class_weightsNone, ignore_index255, edge_weight0.3, edge_kernel3): super().__init__() self.register_buffer(cls_w, class_weights) # 逐类权重None 时退化为普通 CE self.ignore_index ignore_index self.edge_weight edge_weight self.edge_kernel edge_kernel def _edge_map(self, label): 用标签的一阶差分近似边界忽略区域不参与 lab label.float().unsqueeze(1) k torch.ones(1, 1, self.edge_kernel, self.edge_kernel, devicelabel.device) k k / k.numel() blur F.conv2d(lab, k, paddingself.edge_kernel // 2) edge (blur - lab).abs().squeeze(1) return (edge 0.05).float() def forward(self, logits, aux_logits, label): ce F.cross_entropy(logits, label, weightself.cls_w, ignore_indexself.ignore_index, label_smoothing0.05) edge self._edge_map(label) valid (label ! self.ignore_index).float() prob F.softmax(logits, dim1) # 边界区域加权边界像素的交叉熵损失放大 px_ce F.cross_entropy(logits, label, reductionnone, ignore_indexself.ignore_index) edge_loss (px_ce * edge * valid).sum() / (edge * valid).sum().clamp(min1.0) loss ce self.edge_weight * edge_loss if aux_logits is not None: for a in aux_logits: loss loss 0.4 * F.cross_entropy( a, label, weightself.cls_w, ignore_indexself.ignore_index) return loss逻辑说明主项还是交叉熵label_smoothing0.05是为了防止模型对某些纹理极其自信室内数据标注本身就存在边界模糊硬标签容易训出尖锐的错误预测。边界项先用均值滤波和原标签做差近似出标签的边界带再把这个位置上的像素级交叉熵单独加权等于让模型在轮廓处多付代价。辅助头损失直接复用同一个交叉熵权重固定 0.4。参数说明class_weights一般用1 / log(1.02 freq)这类逆频率平滑不要直接用1/freq那种极端权重会让网络疯狂预测小类墙和地面全崩。edge_weight设 0.3如果发现轮廓有明显的锯齿和过分割往上加到 0.5如果物体内部出现空洞说明边界项压太狠降到 0.15。ignore_index跟标签里的忽略值保持一致改数据格式的时候别漏。还有一个隐性参数batch_size和 BN 的关系。前面提过双分支模型在小 batch 下 BN 抖得厉害除了换 GroupNorm另一个办法是冻结深度分支的 BN 统计只让它跑推理模式。实测在小 batch 设置下这么做能让验证集 mIoU 稳定提升 1 到 2 个点收敛曲线也平滑很多。4.2 评估脚本与逐类指标mIoU 这个数字很容易掩盖问题一个类崩了但平均下来只掉一点所以评估一定要出逐类表。项目里的评估函数基于混淆矩阵计算把所有像素累加之后再算交并比而不是每张图算完再平均后者对小目标偏乐观。import numpy as np def update_confusion(cm, pred, target, num_classes, ignore_index255): 累加混淆矩阵cm 形状 [C, C]行是真实类列是预测类 mask target ! ignore_index p pred[mask].astype(np.int64) t target[mask].astype(np.int64) idx t * num_classes p cm np.bincount(idx, minlengthnum_classes ** 2).reshape(num_classes, num_classes) return cm def per_class_iou(cm): 逐类 IoU分母为 0 的类别返回 nan避免污染平均值 inter np.diag(cm).astype(np.float64) union cm.sum(axis1) cm.sum(axis0) - inter with np.errstate(divideignore, invalidignore): iou inter / union iou[union 0] np.nan return iou def report(cm, class_names): iou per_class_iou(cm) for name, v in zip(class_names, iou): print(f{name:16s}: {v:.4f} if not np.isnan(v) else f{name:16s}: n/a) print(f{mIoU:16s}: {np.nanmean(iou):.4f}) acc np.diag(cm).sum() / cm.sum() print(f{pixel acc:16s}: {acc:.4f})逻辑说明先按真实类 × 类别数 预测类拉平成一维索引再用bincount一次性累加比双层循环快一个量级。逐类 IoU 的分母是行和加列和减去交集对没出现过的类返回 nan最后nanmean只对出现过的类求平均。像素准确率也顺手打出来它的作用是对比如果一个模型像素准确率 0.9 但 mIoU 只有 0.3基本可以确定模型在无脑预测大类。参数说明class_names的裸顺序必须和标签索引一一对应错一位整个表都是错的。评估时建议固定一套验证集划分文件别每次随机切否则指标波动说不清是模型变了还是数据变了。看逐类表有个技巧先看哪两类互相混淆最多直接查混淆矩阵里非对角的最大值。室内场景最常见的三组混淆是墙和柜子、椅子和桌腿、地毯和地板这几组基本都跟深度图的边缘质量有关回头去查数据比改网络有效。4.3 训练曲线怎么读tensorboard 里我一般同时看四条线训练总 loss、验证 mIoU、深度分支的门控均值、学习率。训练 loss 平滑下降但验证 mIoU 在第 20 轮后走平多半是学习率还没降到位把 poly 的幂次从 0.9 调到 0.7 试试。验证 mIoU 震荡幅度超过 3 个点先怀疑 batch size 太小和 BN而不是去改网络。门控均值这条线比较有意思它是一个标量等于所有融合模块输出权重的平均值。这个值长期贴着 0说明模型根本没在用深度信息可能深度归一化有问题或者 mask 全被关掉了长期贴着 1说明 RGB 分支没起作用检查一下预训练权重是不是没加载成功。健康的状态是在 0.3 到 0.6 之间浮动不同 stage 略有差异。loss 突然变 NaN 的情况按这个顺序查学习率是否过大、深度图里有没有 inf 或超大值、标签里有没有超出类别数的索引。最后一个最容易漏某些标注工具导出时会把忽略值写成 0 以外的数一进 cross_entropy 就报错或者直接算飞。5. 常见问题排查这几个坑我踩过不止一次同一份代码在别人机器上跑得通、在你机器上就崩这种事在 RGB-D 项目里特别多因为多了一条数据通道就多了一堆格式和精度问题。下面五条是我自己踩过、也在别人代码里见过的典型故障按“现象 → 原因 → 解决”整理遇到对得上的直接照搬。5.1 深度图读进来一片白或者全是零现象可视化深度图时整张纯白或纯黑训出来的模型深度分支输出几乎恒定。原因cv2.imread默认按 8 位读取16 位深度图超过 255 的部分全被截断成 255看起来就是一片白。另一种情况是彩色图和三通道深度图用了同一个读取函数通道数对不上导致后续 reshape 出错但被 try 吞掉。解决深度图统一用cv2.imread(path, cv2.IMREAD_UNCHANGED)读完立刻断言depth.max() 255如果最大值不超过 255 就报警说明这张图本身可能就是 8 位或者内容真的接近全零。数据自检脚本里加一条统计深度图的 min、max、均值、有效像素占比四个数打出来基本一眼能看出问题。5.2 训练 loss 正常下降但验证 mIoU 卡在很低的位置现象训练集 loss 从 2 点多降到 0.4验证 mIoU 一直在 0.2 附近不动逐类表里只有墙和地面有分数。原因BN 统计量在双分支小 batch 下失稳或者深度分支的输入分布和训练时不一致。还有一种可能是验证集的裁剪方式和训练集不同比如训练随机裁剪、验证整图缩放深度图的尺度信息在缩放后发生变化。解决先把深度分支的 BN 换成 GroupNorm 或者冻结 running stats重跑一轮看曲线是否平滑。再检查验证管线把验证的 resize 方式改成和训练一致的短边缩放加中心裁剪深度图一律最近邻。这两步做完还有问题就去打门控均值看深度到底有没有被用上。5.3 标签和 RGB 对不齐边界总是差几个像素现象预测结果整体比真实物体偏移一点或者物体边缘出现一圈固定的错位色带。原因彩色图和深度图来自不同传感器出厂标定给的内外参没有正确应用或者用了不同分辨率的裁剪但只对彩色图做了变换。也有人是标签图在标注工具里被缩放过一次再存回来时插值方式不是最近邻类别索引被混成了不存在的值。解决项目里所有几何变换统一走datasets/transforms.pyRGB、深度、标签三者共用同一个变换参数元组深度和标签的插值方式锁死为最近邻。对齐问题用一张棋盘格或者带明显直角的目标拍一张把预测叠加图和原始 RGB 半透明混合看边界是否贴合肉眼检查比任何指标都直接。5.4 数据增强之后深度图出现“凭空长出来的斜面”现象增强后的深度图上物体边缘出现渐变的灰色过渡带模型在这些位置预测极不稳定。原因随机旋转和缩放时对深度图用了双线性插值两个不同深度的像素之间被线性混合成中间值物理上这等于在物体边缘造了一个斜面。解决深度图和标签图的所有插值统一用InterpolationMode.NEAREST。如果确实需要平滑只在归一化之后对深度做保边滤波而且滤波要在增强之前、在原始分辨率上做。这条改完边界类的 IoU 通常能直接涨一个点以上代价几乎为零。5.5 换了大分辨率之后直接爆显存现象把裁剪尺寸从 480 提到 768batch size 还没改第一个 iteration 就 OOM。原因双分支模型在编码器浅层的特征图是原分辨率的 1/2两个分支加起来显存占用接近单分支的两倍多分辨率翻倍后特征图面积涨到 2.25 倍以上。解决按这个顺序调先开--amp再把 batch size 降到 4 并改用梯度累积补回等效 batch然后考虑把深度分支的浅层宽度砍半。最后一步才是上梯度检查点它对速度的影响比较明显非必要不开。裁剪尺寸和 batch size 的乘积大致守住一个经验上限超了就得换策略。6. 二次开发换骨架、上实时、导出部署这三条路怎么走拿到这份代码之后大多数人的改造方向无非三个换更强的编码器、往实时方向压、或者导出到端侧部署。三条路的改法差别挺大我把各自要动的文件和验证方式写清楚省得你满仓库找入口。换骨架是最常见的需求改动集中在models/backbone.py。新的编码器只要满足“四个 stage 输出、通道数可配”这个接口就能直接替换融合模块和解码器一行不用动。接口约定是stages是一个nn.ModuleList第 i 个 stage 输出的空间尺寸是输入的 1/(2^(i1))。我一般先写好适配层再换适配层里做通道对齐和上采样保证新旧骨架输出形状一致这样出问题能快速回滚对比。class EncoderAdapter(nn.Module): 把任意骨架的输出对齐到项目约定的四阶段接口 def __init__(self, backbone, out_channels): super().__init__() self.backbone backbone self.proj nn.ModuleList([ nn.Conv2d(c, o, 1, biasFalse) for c, o in zip(backbone.out_channels, out_channels) ]) def forward(self, x): feats self.backbone(x) # 要求返回四个 stage 的特征 return [p(f) for p, f in zip(self.proj, feats)]实时化方向要动的地方更多把解码器的跳连从 concat 改成加法、把融合模块的门控中间层砍掉、浅层 stage 的通道减半。这三刀下去单张 512×512 的推理时间大概能压到原来的六成。验证方式不能只看 mIoU要同时记录 FPS 和不同分辨率下的延迟我一般在engine/infer.py里加一个--benchmark开关跑一百次取中位数避免第一次预热拖慢平均值。导出部署走tools/export_onnx.py注意两点推理分支必须返回单个张量训练分支的辅助头在导出前要model.eval()且走推理路径深度 mask 作为可选输入时导出要固定成常量输入否则不同框架对可选输入的支持差异很大。导出后拿同一张图分别跑 PyTorch 和 ONNX Runtime逐像素比对最大绝对误差超过 1e-3 就说明算子映射有问题优先查interpolate的align_corners设置。还有一条不太显眼但收益不错的改造把深度分支换成单通道输入的轻量卷积同时把 RGB 分支最后两级的通道压缩然后用知识蒸馏从大模型往小模型上迁。这条路上我翻过一次车教师模型的深度归一化参数和学生模型不一致蒸馏出来的学生模型深度分支基本废掉白训了两天。从那以后我每次做蒸馏都强制走一遍“同一张图教师和学生分别前向比对输入张量的 min/max/mean”的检查三个数对不上就先停下来。如果你手上正好有深度相机和一批室内标注数据这套结构拿过去改改配置就能跑先从数据自检和 baseline 复现做起别一上来就动网络。希望帮到你。本文还有配套的精品资源点击获取
