期刊Transactions on Medical Imaging年份2025论文题目Boundary as the Bridge: Toward Heterogeneous Partially-Labeled Medical Image Segmentation and Landmark Detection中文可译为以边界为桥梁面向异构部分标注医学图像的分割与解剖标志点检测一、摘要医学图像分割和解剖标志点检测都是计算机辅助诊断的重要任务但实际数据中经常出现数据集 A 只有 segmentation mask数据集 B 只有 landmark annotation。作者将这种情况定义为Heterogeneous Partially-Labeled Problem异构部分标注问题。为解决这一问题论文提出Boundary-as-Bridge LossBaBLoss。核心思想是大多数解剖标志点位于特定解剖结构的边界因此可以通过约束 Landmark heatmap 与 segmentation boundary distance map 的一致性建立两个任务之间的联系。此外作者利用 Landmark 作为 Prompt 输入 MedLSAM为只有 Landmark 标注的数据生成伪分割标签从而进一步利用这些数据训练 segmentation branch。方法最终在胎儿脑和膝关节两个异构部分标注数据集上进行了验证。二、创新点创新一提出异构部分标注问题论文首次系统定义D1: Segmentation D2: Landmark即多个数据集来自相同解剖区域但不同数据集具有不同类型的标注并尝试利用它们联合完成分割与 Landmark 检测。创新二提出 Boundary-as-Bridge Loss论文发现 Landmark 与解剖结构边界具有天然的空间关系因此设计BaBLossSegmentation Boundary↔Landmark通过最大化边界距离图与 Landmark Heatmap 的一致性让两个任务相互监督。这一 Loss 不依赖某一种特定网络结构可以直接嵌入现有多任务网络。创新三利用 Landmark 生成伪分割标签对于只有 Landmark 标签、没有 Mask 的数据作者将 Landmark 转换为前景/背景 Prompt输入MedLSAM自动产生 pseudo segmentation mask。这样原本只能训练 Landmark 分支的数据也能够参与 segmentation branch 的训练。三、方法论文采用经典的Shared Encoder Dual Decoder结构。输入一个 mini-batch其中一半数据具有segmentation GT一半数据具有landmark GT。共享 Encoder 提取图像特征随后进入两个 DecoderDecoderseg→SegmentationDecoderland→Landmark Heatmap有分割标签的数据使用Cross-Entropy Loss有 Landmark 标签的数据使用MSE Loss。也就是说基础网络并不要求每一幅图像同时具有两种标注。3.1 Landmark Prompt伪分割标签生成对于只有 Landmark 标签的数据作者进一步利用 MedSAM 生成 segmentation pseudo label。给定两个 LandmarkP1, P2首先连接两个点并在线段内部采样一些点作为Foreground Prompt再在线段延长线上采样Background Prompt然后将这些点输入 MedLSAMLandmarks→Foreground/Background Prompts→MedSAM→Pseudo Mask生成的伪 Mask 再通过 Cross-Entropy Loss 监督 segmentation branch。4.3 Boundary-as-Bridge Loss其基本假设是分割区域由边界确定而许多 Landmark 就位于这些解剖边界上。BaBLoss主要包括三个步骤① 建立 Landmark–器官边界对应关系首先根据解剖知识建立 Landmark→Segmentation Boundary例如某个 Landmark 位于股骨边界或者位于两个组织的交界处。② 构建 Boundary Distance Map从对应的 segmentation mask 中提取边界然后建立距离图越靠近边界 → 权重越大越远离边界 → 权重越小。这样就把离散的“边界”转换成一个可以与 Landmark heatmap 对齐的连续空间表示。③ 约束 Landmark Heatmap 与 Boundary Map 一致最后计算 Boundary Distance Map↔Landmark Heatmap之间的一致性。Landmark 越靠近正确的解剖边界两者相似度越高BaBLoss 越小。因此BaBLoss 实际实现了双向约束Segmentation GT → 约束 Landmark Prediction以及Landmark GT → 约束 Segmentation Prediction这就是论文所谓的“Boundary as the Bridge”。4.4 总体损失函数最终损失由三个部分组成其中正常的分割和 Landmark 多任务监督MedLSAM 生成伪分割标签的监督利用边界关系进行两个任务之间的交叉监督。因此整个方法其实形成了三层监督真实标签监督 伪标签监督 跨任务边界约束。四、试验4.1 数据集论文分别在胎儿脑和膝关节两个数据集上进行了实验。值得注意的是膝关节数据中OAI-ZIB用于 segmentationLM-ZIB用于 Landmark detection。Landmark 包括ACLf、ACLt、PCLf、PCLt、MCL 等韧带附着点。4.2 结果实验表明BaBLoss 可以用于不同的 CNN 和 Transformer backbone并普遍改善 segmentation 与 landmark detection。与分别训练两个网络相比该方法只需要进行一次推理即可同时获得两个任务结果因此推理效率也更高。消融实验中MedLSAM Pseudo Label BaBLoss的组合取得最佳结果例如在对应实验中 DSC 从73.88% 提升至 76.11%MRE 从1.40 mm 降低至 1.37 mm。五、结论论文证明了即使 segmentation 和 Landmark 标签来自不同的数据集、不同病例仍然可以借助二者共有的解剖边界关系建立有效的联合学习机制。其核心贡献不是设计一个非常复杂的新 Backbone而是提出Landmark↔Boundary↔Segmentation利用Boundary 作为两个异构任务之间的桥梁。作者也指出目前 BaBLoss 假设目标器官的 Ground Truth 主要由一个完整的连通区域组成因此对于存在多个不连通区域的分割目标可能受到限制这是未来需要进一步解决的问题。
