简介一份聚焦遥感影像海陆分割的学术论文文档面向从事图像处理与深度学习研究的科研人员和高年级学生。针对复杂场景下海陆边界分割不准确、弱边界信息易丢失的问题文档提出基于 Res2Net 的多尺度海陆分割网络 MSRNet介绍其利用 Res2Net 提取多尺度特征、通过压缩和注意力模块增强弱边界信息并引入深度监督策略优化分割结果的技术细节。实验部分以两组不同海岸类型遥感数据集进行验证与主流语义分割网络对比结果表明该方法可获得更准确、更完整清晰的海陆边界。资源包内容简洁共 1 个 docx 文档大小约 345KB涵盖中英文摘要、网络结构、实验对比与结论等完整论述便于快速通读与引用目前已有 128 人学习浏览可作为海陆分割、海岸线提取及海岛礁识别等课题的方法参考。1. 海陆分割为什么卡在尺度上先认识 Res2Net遥感影像语义分割里海陆分割是看着简单、实际极易翻车的一类任务陆地和水体在颜色上的差异并不稳定浑浊水体、近岸泥沙、山地阴影都会让同一个像素在两个类别里横跳。Res2Net 的解法是在残差块内部按通道分组让每组卷积分别处理不同尺度再逐组融合不必靠堆网络深度就能把细碎岸线和大片海域同时看住。我基于这套骨干做过多尺度海陆分割实验以 Res2Net 为骨架配合多尺度特征融合和针对性的损失函数比直接用 ResNet50 做 DeepLabV3 在岸线细节上明显更稳。这份方法笔记把主干、训练、避坑和验证一次讲清适合想快速提升遥感分割精度的工程师和研究生照着自己复现。2. Res2Net 主干选型多尺度残差块、FPN 解码与预训练对齐海陆分割的难点从来不是网络不够深而是同一个场景里既有几百米宽的大片水体又有两三个像素宽的细河汊。单尺度卷积核要么看大不看小要么看小不看大。Res2Net 在单个残差块内部做多尺度正好卡在这个痛点上。2.1 多尺度残差块把不同感受野塞进一个残差块里Res2Net 的核心思路不复杂把经过 1x1 卷积降维后的特征图沿通道切成若干组第一组直接过后续每一组先加上前面一组的输出再做一次 3x3 卷积。这样每组卷积虽然卷积核大小相同但实际接收的信息范围逐级变大形成一种类似金字塔的感受野结构而这个结构没有引入额外的并行分支计算量增加非常有限。下面这段代码是不依赖任何第三方库的教学版 Res2Block方便理解数据流。import torch import torch.nn as nn class Res2Block(nn.Module): def __init__(self, in_ch, out_ch, scale4, stride1): super().__init__() self.scale scale width out_ch // scale # 先降维到 width * scale再切成 scale 组 self.conv1 nn.Conv2d(in_ch, width * scale, 1, stridestride) self.bn1 nn.BatchNorm2d(width * scale) # 最后一组不需要额外的 3x3这里只建 scale-1 个卷积 self.convs nn.ModuleList([ nn.Conv2d(width, width, 3, padding1) for _ in range(scale - 1) ]) self.conv2 nn.Conv2d(width * scale, out_ch, 1) self.bn2 nn.BatchNorm2d(out_ch) self.relu nn.ReLU(inplaceTrue) # 残差分支通道或尺寸变化时用 1x1 卷积对齐 self.shortcut None if stride ! 1 or in_ch ! out_ch: self.shortcut nn.Sequential( nn.Conv2d(in_ch, out_ch, 1, stridestride), nn.BatchNorm2d(out_ch), ) def forward(self, x): identity x x self.relu(self.bn1(self.conv1(x))) xs torch.chunk(x, self.scale, dim1) ys [xs[0]] for i in range(1, self.scale): # 前一组输出与当前组相加再做 3x3 sp self.convs[i - 1](xs[i] ys[-1]) ys.append(sp) out torch.cat(ys, dim1) out self.relu(self.bn2(self.conv2(out))) if self.shortcut is not None: identity self.shortcut(identity) return self.relu(out identity)代码逻辑上要关注三个参数。scale4 表示把一个残差块内部的通道分成 4 组widthout_ch//scale 是每一组的通道数这一组通道直接决定了多尺度支路的宽度scale 越大组的粒度越细感受野层次越多但过多的组会让第一个 3x3 卷积承担过重的融合任务实际训练时 scale4 比 scale8 更稳。stride 放在 conv1 上所以整块输出尺寸统一缩小后续组间相加不需要做尺寸对齐这是教学版和论文原版略有差异的地方但语义一致。还要解释清楚 Res2Net 与 ResNeXt 的差别ResNeXt 是多个组并行走 3x3 卷积组之间不通信Res2Net 是每一组叠加前面一组的输出再卷积信息逐级传递这才能形成真正的多尺度表达。血泪经验是如果直接把通道切碎后各卷各的精度不会有明显提升必须保留 ys[-1] 这个递推传递。2.2 解码器选型FPN 与 ASPP 在海陆分割上的取舍主干负责提取特征解码器负责把高层的语义信息恢复到原分辨率。海陆分割有两种主流接法DeepLabV3 风格的空洞空间金字塔池化以及 FPN 风格的自顶向下逐级融合。对比项FPN 轻量融合ASPP 空洞池化多尺度方式不同 stage 特征逐级上采样相加同一层特征用不同空洞率的卷积并行提取边缘细节底层高分辨率特征直接参与融合岸线更锐利依赖空洞卷积边缘细节相对偏平滑显存占用较低适合 512 输入较高空洞率大时特征图数量多工程落地友好度结构简单通道对齐好排查需要反复调空洞率对遥感大目标适配性好我的做法是用 FPN 做主力小目标检测的通用经验在这里同样成立海陆分割边缘的精度很大程度来自底层特征FPN 能把 stage2、stage3 的高分辨率细节直接送到最终预测头比 ASPP 在单层上硬挖多尺度更划算。下面是一个可以直接替换的轻量 FPN 解码头。import torch.nn as nn import torch.nn.functional as F class LightFPN(nn.Module): def __init__(self, in_chs, out_ch64): super().__init__() self.lateral nn.ModuleList([ nn.Conv2d(c, out_ch, 1) for c in in_chs ]) self.refine nn.Conv2d(out_ch, out_ch, 3, padding1) self.head nn.Sequential( nn.Conv2d(out_ch, out_ch, 3, padding1), nn.ReLU(inplaceTrue), nn.Conv2d(out_ch, 1, 1), ) def forward(self, feats): # feats 是主干输出的多层特征按分辨率从低到高传入 feats [lateral(f) for f, lateral in zip(feats, self.lateral)] x self.refine(feats[-1]) # 从顶层往下逐级上采样相加 for i in range(len(feats) - 2, -1, -1): x F.interpolate( x, sizefeats[i].shape[2:], modebilinear, align_cornersFalse) x x feats[i] return self.head(x)in_chs 是主干各个 stage 的输出通道数列表out_ch64 是融合后统一的通道数。out_ch 不建议给太大海陆是二分类任务64 通道已经足够表达水体边缘的上下文给到 128 或 256 只会增加显存开销精度提升非常有限。head 最后一层输出单通道配合 Sigmoid 做海陆二分类如果后续要扩展成水体、陆地、多云、阴影等多类把最后一层输出改成类别的数量即可。2.3 预训练加载与通道对齐最容易翻车的环节从零训练 Res2Net 在遥感数据上通常不现实常见做法是加载在 ImageNet 上预训练好的权重再对分割头进行微调。这里最容易翻车的地方是通道数对不齐尤其是用 timm 这类库加载 features_only 模式的骨干时输出的通道和 stage 编号需要先打印确认。import timm import torch backbone timm.create_model( res2net50_26w_4s, pretrainedTrue, features_onlyTrue, out_indices(2, 3, 4), ) dummy torch.randn(1, 3, 512, 512) feats backbone(dummy) # 打印每一层的输出形状确认通道数后填入 LightFPN 的 in_chs print([f.shape for f in feats])out_indices(2, 3, 4) 表示只取主干最后三个 stage 的特征这刚好对应 FPN 需要的高层到底层的三路特征。实际打印出来的通道数会因模型变体不同而不同所以写 LightFPN 时不要凭记忆填 in_chs直接从 feats 的 shape 里取。如果发现第一个特征图的尺寸只有 128×128 而不是 256×256说明主干自带下采样倍数与预期不一致需要在组装网络时补一个上采样否则输出尺寸对不上标签。3. 训练配置与损失函数把海陆分割当不平衡二分类处理很多刚开始做海陆分割的人会把任务当作普通语义分割直接用 CrossEntropyLoss 训练结果水体面积一旦偏小模型很快就退化成全预测陆地。海陆分割本质上是高度不平衡的二分类问题损失函数和训练策略都要围绕这一点设计。3.1 Dice Focal为什么交叉熵在这里不够用交叉熵对每个像素均匀计算损失大片的陆地像素贡献了绝大多数梯度水体边缘即使分错了在损失里也占不到足够权重。Dice Loss 按预测区域与真实区域的交并比计算损失对前景占比小的情况天然更敏感Focal Loss 则通过调制因子压低易分类样本的梯度让模型把注意力集中在浑浊水体、浪花边缘这类难分像素上。import torch import torch.nn.functional as F def dice_focal_loss(logits, masks, alpha0.7, beta0.3, focal_gamma2.0, water_weight0.8): probs torch.sigmoid(logits) # Dice 部分前景区域越小这个损失越有区分度 inter (probs * masks).sum(dim(2, 3)) union probs.sum(dim(2, 3)) masks.sum(dim(2, 3)) dice 1 - (2 * inter 1) / (union 1) # Focal 部分用预测概率做调制 # 易分类像素概率接近 1调制项趋近 0 bce F.binary_cross_entropy_with_logits( logits, masks, reductionnone) pt masks * probs (1 - masks) * (1 - probs) focal ((1 - pt) ** focal_gamma) * bce # 水体像素额外加权进一步对抗类别不平衡 weight masks * water_weight (1 - masks) * (1 - water_weight) focal (focal * weight).mean() return alpha * dice.mean() beta * focalalpha0.7、beta0.3 是我常用的比例Dice 为主Focal 做难样本补充。focal_gamma2.0 是 Focal Loss 论文里的默认值实测在海陆分割上表现稳定不需要刻意调大。water_weight0.8 是给水体像素的额外权重如果你的验证集里水体面积占比低于 10%可以把这个值提到 0.85 或 0.9。注意 Dice 部分没有直接对类别加权而是通过损失函数本身的结构来处理不平衡如果再叠加权重反而容易把小区域训练出膨胀效果。3.2 训练循环AdamW、poly 学习率与 AMP训练配置直接决定模型能否收敛到稳定状态。输入尺寸我用 512×512batch size 设为 8优化器选 AdamW学习率用 poly 调度慢慢衰减到 0这与遥感分割常用的训练习惯一致。混合精度训练在显存紧张时几乎必开海陆分割不太依赖数值精度AMP 对最终的 mIoU 影响很小。import torch from torch.optim import AdamW def poly_lr(epoch, max_epoch, base_lr, power0.9): return base_lr * (1 - epoch / max_epoch) ** power model build_res2net_fpn_model(num_classes1) optimizer AdamW(model.parameters(), lr5e-4, weight_decay1e-4) scaler torch.cuda.amp.GradScaler() for epoch in range(80): lr poly_lr(epoch, 80, 5e-4) for g in optimizer.param_groups: g[lr] lr model.train() for imgs, masks in train_loader: imgs imgs.cuda() masks masks.cuda().float() optimizer.zero_grad() with torch.cuda.amp.autocast(): logits model(imgs) loss dice_focal_loss(logits, masks) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()poly 学习率的 power0.9 是 DeepLab 系列论文里的经典设置前 20 个 epoch 学习率下降较慢后期迅速变小对微调预训练权重很友好。weight_decay1e-4 不要给太大遥感影像特征本身相关性高过大的权重衰减会让骨干的特征表达能力退化。训练到第 40 个 epoch 左右如果验证集的损失不再下降可以提前停止不必硬跑满 80 个 epoch。显存不足时优先把 batch size 降到 4同时把 AMP 打开一般 12GB 显存可以跑通这套配置。3.3 训练参数速查配置项推荐值说明输入尺寸512×512兼顾细节与显存全图 1024 只适合单张推理batch size8显存不够降到 4并适当降低学习率优化器AdamWlr5e-4weight_decay1e-4学习率调度poly, power0.9后期衰减明显对微调预训练权重友好混合精度开启 AMP显存占用减少约 40%精度损失近零损失权重alpha0.7, beta0.3Dice 主导Focal 补难样本数据增强旋转翻转不要加高斯模糊和随机擦除4. 数据预处理与增强遥感影像不能当普通照片用遥感影像和自然照片最大的区别在于单景影像可能上万像素直接整图进网络不现实同时影像的像素值分布受传感器和大气条件影响很大不做预处理就训练换一景影像测试时精度会明显下滑。4.1 滑窗裁剪patch 与重叠率的选择常见做法是把大影像切成 512×512 的 patch 送入训练。切 patch 时一定要留重叠区域否则边缘的岸线、河汊会被切碎模型在推理时拿不到完整上下文。重叠率我一般设 25%也就是 stride384这样同一处岸线会出现在多个 patch 里相当于做了隐式的数据增强。import numpy as np def sliding_window_crop(image, mask, patch512, overlap0.25): stride int(patch * (1 - overlap)) h, w image.shape[:2] patches [] y 0 while y h: x 0 # 贴边处理最后一行不足 patch 时反向从底部截取 y_end min(y patch, h) if y_end - y patch: y h - patch y_end h while x w: x_end min(x patch, w) if x_end - x patch: x w - patch x_end w patches.append((image[y:y_end, x:x_end], mask[y:y_end, x:x_end])) x stride if x_end w: break y stride if y_end h: break return patches这里的关键是贴边逻辑当剩余宽度不足一个 patch 时直接把起始位置挪到 w-patch而不是按不足尺寸的 patch 硬训练这样能保证所有训练样本分辨率一致省去 padding 造成的边界标签污染。裁剪完成后建议把 patch 保存成 npy 或直接以文件名前缀对应到原图坐标推理阶段重建整景结果时需要用到这些坐标信息。4.2 数据增强图像和 mask 必须同源对齐海陆分割的 mask 是逐像素标签所有几何增强必须同时作用于影像和标签。albumentations 在这方面封装得比较完整直接用它对 image 和 mask 同时做变换即可。注意 mask 的插值方式必须保持最近邻否则标签边界会被插出中间值训练时变成噪声标签。import albumentations as A import cv2 def get_train_aug(patch512): return A.Compose([ A.RandomResizedCrop( patch, patch, scale(0.8, 1.0), ratio(0.9, 1.1), ), A.HorizontalFlip(p0.5), A.VerticalFlip(p0.5), A.Rotate(limit30, border_modecv2.BORDER_CONSTANT, value0), A.RandomBrightnessContrast(p0.3), ], additional_targets{mask: mask}) # 数据加载时这样调用 # aug get_train_aug() # augged aug(imageimg, maskmask)Rotate 的 border_mode 用 BORDER_CONSTANT 且 value0表示旋转产生的空白区域填成陆地类别。如果填成随机噪声模型会在这些区域学到虚假的纹理特征测试时这些位置大概率会被误判为水体。RandomBrightnessContrast 只对影像做不要对 mask 做。海陆分割中尽量不要用高斯模糊、随机擦除这类破坏低层纹理的增强因为浑浊水体与阴影的区分恰恰依赖微弱的纹理细节。4.3 数据组织与文件清单目录或文件内容train/images训练影像切片建议保存为 PNG 或 TIFFtrain/masks与影像同名的一值 mask0 为陆地1 为水体train/center_coords.npy每个 patch 在原图中的坐标推理重建用val/images验证集影像val/masks验证集标签与训练集同规格mask 文件建议用 PNG 格式保存不要用 JPEG。JPEG 有损压缩会在水陆边界产生渐晕模型训练时会把这些伪边界当作真实特征推理结果会莫名多出细碎锯齿。5. 海陆分割踩坑记录从训练到推理的五个排查现场海陆分割这类任务翻车往往不在网络结构上而在数据处理和评估方式上。我把自己复现时的五次真实踩坑过程记录在这里每条都按现象、原因、解决三个层面展开。5.1 现象整体 mIoU 虚高岸线却一塌糊涂第一个版本训练完验证集 mIoU 到了 0.87看起来很理想但把预测结果叠加到原图上后发现大面积海域基本正确岸线却出现明显的毛刺和断裂河流细汊几乎全军覆没。原因是海陆分割中陆地占比较大即便把河流全部预测成陆地整体 mIoU 也只掉几个点模型实质上是靠大面积陆地刷分。把验证集按小水面区域单独切出来统计 IoU才发现真实水平只有 0.6 左右。解决方法是评估时同时输出水体像素的 IoU、F1 和全局 mIoU其中水体 IoU 才是这个任务真正的主指标。这个教训后来被我用在了所有遥感分割项目里不看小类指标就宣布收敛等于自己骗自己。5.2 现象全图 resize 后小岛和河汊消失第二个版本为了省事把整景影像直接 resize 到 512×512 训练。训练速度很快但推理结果里小岛被吞并两三个像素宽的河汊直接断开。原因是 resize 本质上是大尺度下采样田埂、河汊这类细碎结构在缩小过程中被平均掉了。采用滑窗裁剪后问题立刻改善。推理阶段也不要只从全图中取中心 patch而是用滑动窗口逐块预测再把所有预测概率图做加权平均重建出整景结果。重叠区域取均值可以显著减少边界锯齿。5.3 现象浑浊水体与山地阴影互相污染第三版模型在近岸浑浊区域频繁把阴影判成水体把浑浊水体判成陆地。从混淆矩阵看这两个区域是主要的错误来源。原因是模型只有 RGB 三个通道浑浊水体和阴影在颜色空间上高度接近仅靠纹理差异难以稳定区分这是数据模态的天花板不是网络规模能解决的。有效的做法是引入近红外波段或归一化水体指数 NDWI。如果只有 RGB 数据则应在训练时把增强里的亮度扰动加大让模型不依赖单一亮度值同时降低 Focal Loss 的 gamma 到 1.5减少对阴影区域的过度响应。单纯增加模型参数量对这个坑基本无效多光谱输入才是根治方向。5.4 现象预测边界比标签差 1~2 像素第四个版本在岸线的整体轮廓已经完全正确但逐像素对比时发现预测边界和标签总差 1~2 个像素导致边界 IoU 一直上不去。排查后确认是两处插值不一致叠加造成的数据增强里 mask 使用了双线性插值模型内部上采样时 align_corners 设置不统一。混合精度的 autocast 也可能让插值行为在不同设备上有细微差异。统一所有 mask 的增强插值为最近邻模型中的 interpolate 全部显式指定 align_cornersFalse重建时的概率图保持 float32问题立刻消除。这个坑很隐蔽不看边界指标很难察觉。5.5 现象等比扩大模型后精度不升反降第五个版本把骨干从 Res2Net 50 换成更深更宽的版本显存占用直接翻倍但验证集的水体 IoU 反而降了 2 个百分点。原因是训练 epoch 没变数据增强强度也没变大模型在这组配置下拟合不足加上 BatchNorm 在 batch size 8 时统计量不够稳深层网络更容易在遥感影像上震荡。回退到原模型把注意力放到损失函数和增强策略上精度重新回升。遥感影像分割任务里模型容量只是众多因素之一数据质量、损失函数和评估口径的影响往往更大不要盲目堆参数。6. 验证与进阶mIoU 之外的边界精度检查法常规分割项目用 mIoU 收尾就够了但海陆分割的交付质量很大程度上体现在岸线上所以验证阶段除了整体指标还要加入边界相关的检查。我常用的验证脚本会在推理恢复出整景预测后额外计算三组数字全局 mIoU、水体像素 F1、以及边缘 Hausdorff 距离的 95 分位 HD95。后面两组对岸线的锯齿和偏移非常敏感。推理重建的核心逻辑是先滑窗得到每个 patch 的概率图再按坐标把概率图放回整景画布重叠区域取平均。import numpy as np def reconstruct(pred_patches, size, patch512, stride384): h, w size acc np.zeros((h, w), dtypenp.float32) cnt np.zeros((h, w), dtypenp.float32) y 0 idx 0 while y h: x 0 y_end min(y patch, h) if y_end - y patch: y h - patch y_end h while x w: x_end min(x patch, w) if x_end - x patch: x w - patch x_end w acc[y:y_end, x:x_end] pred_patches[idx] cnt[y:y_end, x:x_end] 1 idx 1 x stride if x_end w: break y stride if y_end h: break cnt[cnt 0] 1 return acc / cnt重建后的概率图要先把这个值归一化到 0 到 1 之间再取阈值 0.5。最后一步是可视化检查把预测边界以白色线条叠加到原始影像上和标注边界并排对比重点看港口、堤坝、河流入海口这些结构复杂的区域。从那以后我每次交付海陆分割模型前都强制走一遍这一整套流程——滑窗重建、水体 IoU 单独统计、边界叠加肉眼检查。这三步都过了模型才能真正说可以用了。这套方法笔记就是把从 Res2Net 主干、训练配置、预处理、避坑到验证的完整过程全部整理在了一起希望帮到你。本文还有配套的精品资源点击获取
