简介这份文档面向遥感影像处理、语义分割方向的研究者与工程人员聚焦复杂背景下海陆边界分割不准确这一难点提出基于Res2Net的多尺度海陆分割网络MSRNet。资源包内仅含1个docx文件约345KB完整呈现了从摘要、引言到网络结构、实验与结论的论文全貌便于读者系统理解方法脉络。文档详细阐述了利用Res2Net提取多尺度特征图、借助压缩与注意力模块增强海陆弱边界信息、并通过深度监督策略强化各尺度预测损失的设计思路同时对比了阈值分割、活动轮廓模型等传统方法在噪声干扰与参数调控上的局限。文中还给出两组不同海岸类型数据集的实验结果验证了该网络在海岸线提取、海岛礁识别与近岸目标检测等场景下的分割精度与鲁棒性。目前已有128人学习适合需要复现或借鉴多尺度注意力分割方案的研究者参考。1. 从一张海岸线模糊的遥感图说起Res2Net 多尺度海陆分割到底在解决什么做遥感影像处理的人大概率都遇到过这样的场景拿到一景高分影像陆地和水体的交界处总是糊成一团——滩涂、浅水区、港口防波堤、河口泥沙带这些地方在像素层面本身就处于灰色地带传统语义分割模型要么把浅水判成陆地要么把滩涂整片划进海里。海陆分割看起来是个二分类问题实际上比很多多类分割还难做因为海岸线不是一条干净的线而是一个宽度不固定、纹理不断变化的过渡带。这个方向要解决的核心问题就一个在遥感影像上把陆地和水体的边界切准尤其是那些多尺度特征混杂的区域。Res2Net 在这里的价值在于它把残差块内部的单一路径拆成了多分支的层级结构让同一个 block 能同时捕捉不同感受野下的特征。放到海陆分割任务里这意味着模型可以在一个模块内同时看到大面积的海洋区域和细碎的岸线纹理不需要靠堆叠很深的网络来硬吃多尺度信息。适合读这篇的人有深度学习基础、跑过语义分割任务、手上有遥感数据集或者知道去哪找数据的工程师和研究生。如果你还在纠结 U-Net 和 DeepLab 选哪个这篇也能帮你判断 Res2Net 作为 backbone 到底值不值得换。2. Res2Net 多尺度机制拆解与海陆分割网络搭建2.1 Res2Net 的层级残差结构为什么比 Bottleneck 更适合岸线提取标准的 ResNet Bottleneck 是 1x1 → 3x3 → 1x1 的串行结构3x3 卷积只有一个感受野。Res2Net 的做法是把 3x3 卷积替换成一组分组卷积每组输出一部分通道然后前一组的结果加到后一组上再卷积。假设分组数为 s那么第 i 组就获得了 i 次 3x3 卷积的等效感受野。s4 时输出特征里同时包含 1x、2x、3x、4x 四种尺度的信息。海陆分割的难点恰好在于尺度差异极大远海区域几百个像素都是均匀水体一个大的感受野就能判断而岸线附近的防波堤、礁石、渔船可能只有几个像素宽需要小感受野来精确定位。Res2Net 在一个 block 内同时提供这两种能力比用 ASPP 在网络末端做多尺度融合更早地保留了细节。实际搭建时我一般用 Res2Net-50 作为 encoder替换掉 DeepLabV3 里的 ResNet-50。改动量很小但效果在岸线 IoU 上通常有 2~4 个点的提升。如果你的数据集里港口和养殖区占比高这个提升会更明显。2.2 用 Res2Net-50 DeepLabV3 搭一个可训练的海陆分割网络下面是一个最小可运行的网络定义基于 PyTorch。Res2Net 的 bottleneck 实现我直接写出来不依赖第三方库方便你按需改分组数。import torch import torch.nn as nn import torch.nn.functional as F class Res2NetBottleneck(nn.Module): Res2Net bottleneckscale 控制分组数width 控制每组通道数 expansion 4 def __init__(self, inplanes, planes, stride1, downsampleNone, scale4, width26): super().__init__() self.scale scale self.width width # 第一个 1x1 降维 self.conv1 nn.Conv2d(inplanes, planes, kernel_size1, biasFalse) self.bn1 nn.BatchNorm2d(planes) # 分组 3x3 卷积每组处理 width 个通道 self.convs nn.ModuleList() for i in range(scale - 1): self.convs.append(nn.Conv2d(width, width, kernel_size3, stridestride if i 0 else 1, padding1, biasFalse)) self.bns nn.ModuleList([nn.BatchNorm2d(width) for _ in range(scale - 1)]) # 最后的 1x1 升维 self.conv3 nn.Conv2d(planes, planes * self.expansion, kernel_size1, biasFalse) self.bn3 nn.BatchNorm2d(planes * self.expansion) self.relu nn.ReLU(inplaceTrue) self.downsample downsample def forward(self, x): residual x out self.relu(self.bn1(self.conv1(x))) # 把特征按通道切成 scale 份 splits torch.chunk(out, self.scale, dim1) feats [] sp splits[0] feats.append(sp) for i in range(self.scale - 1): if i 0: sp self.convs[i](splits[i 1]) else: sp self.convs[i](splits[i 1] sp) # 前一组结果累加 sp self.relu(self.bns[i](sp)) feats.append(sp) out torch.cat(feats, dim1) out self.bn3(self.conv3(out)) if self.downsample is not None: residual self.downsample(x) out residual return self.relu(out)这段代码的关键参数是scale和width。scale4是原论文的默认值width26保证(scale-1) * width width planes即 4 组拼回来通道数对齐。如果你显存紧张把scale降到 3 也能用但多尺度表达能力会弱一些。stride只在第一组卷机上生效这样不同分支的输出尺寸一致可以直接相加。2.3 解码器端的多尺度融合把浅层边缘特征接回来Encoder 用 Res2Net 之后解码器不能随便糊一个上采样就完事。海陆分割的边界精度极度依赖浅层特征我一般用 DeepLabV3 的 decoder 结构把 encoder 里 stride4 那层的输出单独引出来先做 1x1 卷积降到 48 通道再和主干上采样后的特征拼接。class SeaLandDecoder(nn.Module): def __init__(self, low_level_channels, num_classes): super().__init__() self.low_level_conv nn.Sequential( nn.Conv2d(low_level_channels, 48, 1, biasFalse), nn.BatchNorm2d(48), nn.ReLU(inplaceTrue) ) self.fuse_conv nn.Sequential( nn.Conv2d(304, 256, 3, padding1, biasFalse), nn.BatchNorm2d(256), nn.ReLU(inplaceTrue), nn.Conv2d(256, 256, 3, padding1, biasFalse), nn.BatchNorm2d(256), nn.ReLU(inplaceTrue), nn.Conv2d(256, num_classes, 1) ) def forward(self, low_level_feat, high_level_feat): low self.low_level_conv(low_level_feat) high F.interpolate(high_level_feat, sizelow.shape[2:], modebilinear, align_cornersFalse) out torch.cat([low, high], dim1) return self.fuse_conv(out)low_level_channels对应 Res2Net 第一层输出的通道数通常是 256。拼接后的 304 256 48。这个 decoder 的设计逻辑是浅层特征负责边界定位深层特征负责区域分类两者在通道维度拼接后再用两层 3x3 卷积做融合。如果你的数据集里小目标比如独立礁石特别多可以把 low_level 的卷积输出从 48 提到 64给边界信息更多容量。3. 数据准备与训练配置从遥感影像到可训练样本3.1 海陆标签怎么造阈值法、NDWI 和人工修正的配合海陆分割的标签质量直接决定模型上限。常见做法是先用 NDWI归一化水体指数做粗分割再人工修正。NDWI (Green - NIR) / (Green NIR)在 Sentinel-2 和 Landsat 8 上都能用。阈值一般取 0但不同季节、不同区域需要微调。import numpy as np def ndwi_water_mask(green_band, nir_band, threshold0.0): 输入为反射率或 DN 值输出 0/1 水体掩膜 green green_band.astype(np.float32) nir nir_band.astype(np.float32) ndwi (green - nir) / (green nir 1e-8) mask (ndwi threshold).astype(np.uint8) return mask这个函数输出的是粗标签滩涂和浅水区会大量误判。我的做法是NDWI 结果作为初始标注然后在 QGIS 里叠加原始影像对岸线两侧各 50 个像素的缓冲区做人工修正。一个 512x512 的图斑熟练之后 3~5 分钟能修完。如果预算允许用局部聚焦算法辅助标记的思路也值得试——先让模型跑一版预测人工只修模型不确定的区域效率能翻倍。3.2 训练参数怎么设学习率、损失函数和 batch size 的实操值海陆分割本质是二分类但正负样本极度不均衡——海洋面积通常远大于陆地或者反过来。损失函数我一般用 BCE Dice 的组合BCE 稳定训练Dice 拉回召回率。class BCEDiceLoss(nn.Module): def __init__(self, bce_weight0.5): super().__init__() self.bce nn.BCEWithLogitsLoss() self.bce_weight bce_weight def forward(self, pred, target): bce_loss self.bce(pred, target) pred_sigmoid torch.sigmoid(pred) intersection (pred_sigmoid * target).sum() dice_loss 1 - (2 * intersection 1e-6) / (pred_sigmoid.sum() target.sum() 1e-6) return self.bce_weight * bce_loss (1 - self.bce_weight) * dice_loss训练配置方面我常用的起点是初始学习率 0.01poly 衰减power0.9batch size 8单卡 11GB 显存512x512 输入优化器 SGD momentum0.9weight decay1e-4。如果换 AdamW学习率降到 1e-4。训练轮数看数据量5000 张图斑大概 80~100 epoch 收敛。验证指标盯紧岸线缓冲区的 IoU整体 IoU 会被大面积均匀区域拉高参考价值有限。3.3 数据增强里哪些有用、哪些是负优化遥感影像的增强和自然图像不一样。翻转、旋转 90 度、随机裁剪这些都没问题。但颜色抖动要慎用——NDWI 依赖波段关系你把绿色波段调了水体光谱特征就变了。我一般只做轻微的亮度对比度扰动幅度控制在 10% 以内。CutMix 和 MixUp 在海陆分割上要小心。两张图混在一起海岸线位置会出现不存在的过渡带模型学到的边界是错的。如果非要用只在远离岸线的区域做 CutMix但这实现起来很麻烦不如不用。实际涨点最明显的增强是随机缩放0.75~1.5 倍和多尺度训练这跟 Res2Net 的多尺度特性是配套的。4. 训练与推理中的避坑指南岸线翻车场景排查4.1 损失降到 0.1 但岸线 IoU 只有 0.4类别不均衡的隐性坑现象训练 loss 曲线很漂亮整体像素准确率 95% 以上但把预测结果叠到影像上一看岸线附近全是锯齿滩涂整片被吞掉。原因海洋像素占比太高模型学会了全预测成海就能拿到很低的 loss。BCE 在这种极端不均衡下会被多数类主导。解决先算一下你的数据里水陆像素比。超过 5:1 就必须上 Dice 或者 Focal Loss。另外在采样时对包含岸线的图斑做 oversampling让每个 batch 里至少有一半图斑的岸线像素占比超过 5%。这个改动通常能把岸线 IoU 从 0.4 拉到 0.65 以上。4.2 换 Res2Net 后显存爆了分组卷积的显存账要提前算现象同样的 batch size 和输入尺寸ResNet-50 能跑换成 Res2Net-50 直接 OOM。原因Res2Net 的中间特征图数量更多。每个分组卷积都会产生一份输出虽然通道数少但 PyTorch 的 autograd 会保存中间变量用于反向传播显存占用比标准 bottleneck 高 30%~50%。解决三个方向。一是把 batch size 减半用梯度累积补回来二是用 AMP 混合精度训练显存直接省 40% 左右三是把scale从 4 降到 3width相应调整精度损失通常在 1 个点以内。我一般优先开 AMP改动最小。4.3 推理时大图拼接出现接缝滑窗预测的 overlap 设置现象整景影像推理时分块预测再拼回来块与块之间有一条明显的分类突变线。原因滑窗没有重叠或者 overlap 太小。CNN 在特征图边缘的感受野是不完整的边缘像素的预测置信度天然偏低。解决overlap 至少设为滑窗尺寸的 1/4。512 的窗口stride 设 384。拼接时对重叠区域做加权平均权重用高斯核中心高边缘低。这个操作不增加训练成本但能消掉 90% 以上的接缝问题。4.4 浅水区和滩涂被整片误判NDWI 标签噪声的反噬现象模型在深水区和内陆表现都很好唯独浅水区、滩涂、河口泥沙带错得离谱。原因回头查标签这些区域的 NDWI 粗标签本身就是错的。NDWI 在悬浮泥沙浓度高的水体里会失效泥沙让近红外反射率升高NDWI 降到阈值以下被标成了陆地。模型学到的就是错的边界。解决对 NDWI 标签做分层校验。把 NDWI 值在 -0.1 到 0.1 之间的像素单独提出来这些是不确定区域必须人工过一遍。如果人力不够至少把这些区域的 loss 权重调低让模型不被噪声标签带偏。这个坑我踩过不止一次血泪经验就是标签不确定的地方宁可让模型自己学也别硬塞一个错的监督信号。5. 把岸线 IoU 再提 3 个点的进阶技巧与验证习惯5.1 用多尺度推理和 TTA 榨出最后一点精度训练完之后推理阶段还有免费的精度可以拿。Res2Net 本身是多尺度的推理时也可以用多尺度输入做 TTATest Time Augmentation。具体做法把测试图缩放到 0.75x、1.0x、1.25x 三个尺度分别预测把概率图缩回原尺寸后平均。def multi_scale_inference(model, image, scales[0.75, 1.0, 1.25]): 多尺度推理返回平均后的概率图 probs [] for scale in scales: h, w image.shape[2:] new_h, new_w int(h * scale), int(w * scale) scaled F.interpolate(image, size(new_h, new_w), modebilinear, align_cornersFalse) with torch.no_grad(): pred torch.sigmoid(model(scaled)) pred F.interpolate(pred, size(h, w), modebilinear, align_cornersFalse) probs.append(pred) return torch.mean(torch.stack(probs), dim0)这个操作推理时间变成 3 倍但岸线 IoU 通常能涨 1.5~2.5 个点。如果再加一个水平翻转 TTA还能再挤 0.5 个点左右。上线服务对延迟敏感的话至少把 1.0x 和 1.25x 两个尺度留着性价比最高。5.2 验证不能只看 IoU岸线缓冲区的分层评估整体 IoU 在海陆分割里是个偏乐观的指标。我习惯把验证集按岸线距离分层岸线 10 像素以内、10~50 像素、50 像素以上分别算 IoU。真正决定分割好不好用的是 10 像素以内那一层的表现。评估层典型 IoU 目标说明岸线 10px 内 0.55边界精度的真实反映岸线 10~50px 0.75过渡带分类能力岸线 50px 外 0.95大面积区域一般不是瓶颈如果第一层 IoU 低于 0.5说明 decoder 的浅层特征融合不够回去检查 low_level 那一路是不是被 BN 或者 ReLU 压得太狠。如果第二层低多半是标签在滩涂区域有噪声回到 4.4 去排查。5.3 我自己的验证习惯每轮训练存一张岸线叠加图最后说一个不写进论文但极其实用的习惯。每次验证除了跑指标我会固定挑 5 张包含典型难例的图港口、河口、滩涂、岛屿、防波堤把预测结果叠到原图上存成 PNG。训练结束后翻这些图的变化比看 loss 曲线有用得多。很多时候 loss 还在降但岸线已经停止改善了甚至开始变差——过拟合在边界上表现得最早。这个习惯帮我省了很多次以为在涨点其实在退化的后悔药。模型训练是个黑匣子指标是后视镜可视化才是前挡风玻璃。希望帮到你。本文还有配套的精品资源点击获取
