ACM MM2026理解SatFusion多帧互补、多源结构打破单一范式的限制城市规划、环境监测、灾害救援等都需要高质量的遥感影像来支撑。但是卫星传感器的物理极限使得“看得更清楚”成为了一个难题。多年来该题目有两种解法——多帧超分(MFSR)和全色锐化(PanSharpening)它们各有优势也有各自的局限性但是长期以来一直被分开来研究。SatFusion是第一次把两条路线放在一起进行分析。论文速览 · 核心信息论文题目SatFusion: A Unified Framework for Enhancing Remote Sensing Images via Multi-Frame and Multi-Source Images Fusion作者Yufei Tong, Guanjie Cheng†, Peihan Wu, Feiyi Chen, Xinkui Zhao, Shuiguang Deng单位浙江大学论文链接https://arxiv.org/abs/2510.07905代码链接https://github.com/yufeiTongZJU/SatFusion01两条平行的道路每条路都有半个答案两个范式、两个瓶颈图1动机图MFSR和PanSharpening之间存在“纹理融合缺口”a-b对于模糊、噪声、错位等各种复合干扰传统的全色锐化性能会崩溃但是统一框架依然很稳定c-d。想要理解SatFusion首先要弄清楚它所要“合并”的两条路。两条路都解决着同一件事避开卫星传感器所处的物理限制得到更加清楚的照片但是它们的想法却完全相反短板也完全不同。01多帧超分MFSR可以补充信息但是不能补充高频纹理多帧超分的方法很简单同一样地卫星会拍摄出几张稍微不同的低分辨率图像。利用帧和帧之间亚像素错位互相补齐就可以重建出比单帧更加清晰的结果。它的优点就是抗噪性好——坏了一帧还可以用其他的帧来替代。但是短板也很突出所有的输入都为低分辨率没有高分辨率结构先验。比如拼图缺少了小图案而只有大图案拼出的结果虽然很稳定但是会发糊。图1(a-b)中所标出的Gap due to texture fusion(纹理融合缺口)就是该瓶颈的一个直观表现。两大范式图2|MFSR(多帧→HR)和PanSharpening(LR MS HR PAN → HR))的典型范式02全色锐化PanSharpening有结构先验但是害怕噪声和错位全色锐化走的是另外一条路同一个场景还有一个高分辨率全色PAN影像一般只记录亮度而不会记录颜色用它来给低分辨率多光谱MS影像补细节。全色影像提供的是真实的高频结构在理论上细节是可以非常锐利的。但是问题出现在融合之前对低分辨率MS插值放大到PAN分辨率的过程当中该过程会使得传感器噪声被放大并且还会加重不同模态之间的错位。图1(c-d) 表明当加入模糊、噪声、错位等扰动之后传统的全色锐化效果将会出现断崖式的下降。主要发现MFSR擅长于利用多帧冗余、抗单帧噪声但是缺乏高频先验PanSharpening 可以得到清晰的结构但是容易受到噪声和错位的影响。两者之间的优劣互相补充打破隔阂、合作建模才有可能找到突破口。02SatFusion把两段路合并为一条UNIFIED FRAMEWORKSYNERGISTIC FUSION图3SatFusion 框架总览MFIF 聚合多帧 LR MS 语义特征MSIF 注入 HR PAN 细粒度纹理融合合成模块做像素级重加权右侧(b-c)显示的是现有的MFSR/PanSharpening组件都可以接入到统一接口中SatFusion的核心设计就是把“多帧互补”和“多源结构”一起纳入到一个端到端的框架中来由三个模块共同完成多帧图像融合(MFIF)模块从多张低分辨率多光谱帧中聚合出高分辨率语义特征多源图像融合MSIF模块会把全色影像中的细小纹理加入进去融合合成模块进行内容自适应的像素级重加权得到最后的高质量多光谱图像。任务定义HRMSreconF( {LRMS,i}i1k,HRPAN)式1图4-SatFusion*的PAN引导多帧融合模块下采样PAN作为结构锚点参与到编码中去根据空间自适应来生成动态的token并且把token交给transformer做多帧聚合01 MFIF 多帧融合隐式对齐、告别显式上采样传统的全色锐化需要在低分辨率MS显式上采样的基础上噪声才会被放大。MFIF 模块换了一个思路首先使用共享权重的编码器对每一帧进行独立编码到深度特征空间中然后用融合算子来聚合互补的信息。最后使用PixelShuffle亚像素卷积把特征扩展到和PAN一样分辨率的程度——整个过程都不需要脆弱的插值实现了隐式像素级别的对齐。更有趣的是MFIF融合算子是一个“标准接口”现有的MFSR中已经包含了2D/3D-CNN、Transformer模块等可以直接嵌入图3-b。FMFIFMFIFdecode(MFIFfusion( {MFIFencode(LRMS,i) }i1k) )02 MSIF 多源融合把PAN纹理“注入”语义在隐式对齐的高分辨率语义特征之上MSIF模块负责把全色影像的细粒度空间纹理注入进来得到细节丰富、多源融合的特征图之后融合合成模块会先进行逐元素相加然后再用残差卷积块1×1卷积堆叠来做内容自适应的像素级光谱重加权。现有的PanSharpening多源融合模块也可以无缝地集成到该接口中去如图3-c所示。从此以后就不用再背着“显式上采样”的包袱了。FMSIFMSIFfusion(FMFIF,FPANHR)FMSIFHRConvBlock(FMFIFFMSIF) (FMFIFFMSIF)03 SatFusion*把PAN当“向导”用Transformer做“聚合”在真实的卫星场景下多帧图像经常出现错位的情况并且帧数也不固定。SatFusion* 在 MFIF 阶段直接引入 PAN 引导一是 PAN 引导编码——把下采样的 PAN 当作弱几何锚点与每一帧拼接后送入共享编码器二是PAN引导的空间自适应token在每一个空间的位置上用PAN特征动态地生成一个唯一的token作为Transformer的“查询条件”。因此PAN就变成了“主动的、空间自适应的向导”多帧聚合按需取舍——天然支持任意帧数对错位和噪声的鲁棒性也大大提升。XtencMFFencode( [ItLR;FPANLR] )TPAN(h,w) MLP(LN(Conv1×1(Encoderpan(FPANLR) ) ) )Seqinput(h,w) T(M)( [TPAN(h,w),X1enc(h,w)……Xkenc(h, w) ] )实验验证图7推理帧数和训练不同也可以稳定住Transformer 变体 k64 仍然不掉递归 CNN 变体则崩盘图8|压力测试给SatFusion*喂带有噪声和错位的输入最后反超得到理想的纯PanSharpening联合损失纹理保真×光谱一致整个框架端到端训练用加权多准则约束同时兼顾空间纹理和光谱一致性MAE/MSE 保持像素重建SSIM 保持高频结构SAM光谱角映射可以抑制多源融合带来的光谱失真。消融实验结果表明只有保留像素损失的效果最差去掉MFIF退化为单帧全色锐化、性能大跌去掉MSIF中缺少PAN纹理去掉融合合成模块的话光谱的一致性就会受到影响——四个原则缺一不可。L λ1LMAE λ2LMSE λ3LSSIM λ4LSAMλ10.3λ20.3λ30.2λ40.2实验结果是四个数据集都处于领先地位论文在真实的世界上和模拟的数据上一共用到了四个基准来加以验证。根据世界 strat来自于spot 6/7卫星的数据的真实数据在统一框架下对MFSR基线进行比较PSNR提高25.1%ERGAS下降69.6%全色锐化的平均PSNR为2.2%ERGAS下降了-12.0%。在 WV3、GF2、QB 三个模拟数据集上物理启发流程合成亚像素错位、模糊与混合噪声平均PSNR2.7%ERGAS-9.6%。另外上采样的倍数由原来的2倍拉伸到了现在的5倍并且所有的框架都在每一个尺度上都压制了孤立的基线输入帧数由8变到64的时候Transformer版的SatFusion*依然很稳定。更多的定量内容请参见下面的表格。表1|WorldStrat真实/模拟数据集SatFusion*平均PSNR为47.38真实49.36模拟表2 WV3/GF2/QB 模拟数据集SatFusion* 平均PSNR 38.03/44.59/37.77表3中γ2/3/5三种放大倍数统一框架在各个尺度上都比孤立基线好为了使实验更接近于真实的卫星成像该论文还采用了物理启发流程来合成带有亚像素错位、PSF/MTF 模糊以及泊松高斯混合噪声的多帧序列算法1。把“理想模拟”和“现实成像”之间存在的差距填平了一大半。算法1物理启发退化序列合成随机亚像素平移、高斯模糊、降采样、泊松/读出噪声SatFusion的意义不只在于把两个领域的“拼”在一起它还提供了一个可以扩展的统一接口使得已经存在的MFSR和PanSharpening模块都可以即插即用SatFusion*更进一步使PAN成为多帧聚合的“向导”在任意帧数和扰动的情况下都能保持稳定。但是它并不是结束在真实的传感器退化建模、跨域泛化、极端几何错位和跨传感器差异等问题上仍然存在很多未解之谜。但是方向已经很明确了遥感影像增强的下一个时代就是“互补”而不能是“单选”。往期推荐
