REMOTE SENSING遥感SISR十年全景综述GRSM 2026 · L8S2PS-SR 真实场景基准Deep Learning for Remote Sensing Image Superresolution导读遥感图像超分辨率的研究已经走过了四十余年的历程。随着深度学习的不断推进CNN、Transformer、GAN、Diffusion、Mamba等路线层出不穷但是有一个现实的问题一直存在合成退化上得到很高的分数是否可以真实的反映出卫星影像中重建的能力呢已经被IEEE Geoscience and Remote Sensing MagazineGRSM接受的内容已经完成了一次方法回顾。作者对近年来深度学习遥感单幅图像超分辨率(SISR)的研究进行了系统的梳理并构建了一个真实的环境基准数据集L8S2PS-SR再用15 种代表性的方法对公开的数据集和真实的场景数据进行统一评价在同一篇文章中把“综述-数据-实验-未来方向”放在一起。PART. 01核心信息综述、基准与测评一次到位论文标题Deep Learning for Remote Sensing Image Superresolution: A Comprehensive Review and a New Real-World Benchmark作者Fanen Meng, Sensen Wu, Yi Xiao, Qiangqiang Yuan, Zhiguo Jiang, Fengying Xie, Zhenhong Du, Haopeng Zhang*单位天目山实验室、浙江大学、郑州大学、武汉大学、北京航空航天大学论文链接https://doi.org/10.1109/MGRS.2026.3706999代码链接https://github.com/Meng-333/L8S2PS-SRDemohttps://pan.baidu.com/s/1AmqSB3HznH_mDTxuBy3OVQ?pwddemo完整数据https://pan.baidu.com/s/1MrYTAOhbUgrZsBCLAptbKQKagglehttps://www.kaggle.com/mengfanen/datasets一句话概括本文把近十年方法谱系、真实世界数据集和统一测评放到了一套完整框架里。论文的封面上有作者的信息论文把工作总结为三方面全面综述、建立真实的环境作为标准、以及系统的评价和未来的方向分析。01全面综述对最近十年来以深度学习为基础的单幅遥感图像超分辨率的研究文献进行回顾包括相关的算法、系统的比较、数据集和评价指标等。论文在贡献总结部分把现有的方法归结为七种类型CNN、Transformer、GAN、Diffusion、Mamba、Foundation Model、HybridFig. 2/ Fig. 3 主要网络结构图和数量统计集中在CNN、Transformer、GAN、Diffusion以及Mamba这五种上。02、建立真实的环境作为标准L8S2PS-SR 最后剩下195个场景/ROI可以适用于各种不同的季节以及地理位置数据集正文部分包含了空间配准后的Landsat 8、Sentinel-1、Sentinel-2以及PlanetScope影像Landsat 8-Sentinel-2、Sentinel-2-PlanetScope 构成了不同尺度的真实世界 SR 配对。03系统测评对15种代表性的方法进行合成数据集和真实场景数据上的评价并就遥感图像超分辨率所面临的问题以及未来的研究方向进行讨论。Fig. 1论文的整体结构框架包括架构、公开的数据、评价指标、L8S2PS-SR、实验、挑战和未来方向PART. 02背景空间分辨率为什么是遥感低层视觉的硬需求遥感对地观测属于现代技术体系的重要部分可以给环境监测、城市规划、精准农业、军事侦察和灾害管理等各个领域提供重要的数据支持。在光学遥感中空间分辨率越高所得到的影像中地物的细节就越清晰这对图像分类、目标识别、语义分割等精细的应用来说意义重大。目前提高遥感图像的空间分辨率主要途径有二种硬件改进与软件改进。升级硬件的成本很高工艺水平也很高研发周期很长而且遥感传感器的载荷和信噪比提高已经到了物理极限。软件途径就是在现有的硬件条件下利用设计好的算法来提高遥感图像的空间分辨率。超分辨率(Super-Resolution, SR)重建是利用一幅或多幅低分辨率(LR)图像来重建出高分辨率(HR)图像在一定程度上可以恢复出图像中丢失的一些细节信息。从而提升图像的质量。对于单幅超分辨率问题本文首先从图像退化的角度来给出定义其中 f 表示退化函数ILR与 IHR分别表示退化后低分辨率图像和原高分辨率图像s 为下采样倍率。论文还提到常用的Bicubic合成退化不能完全模拟真实的退化过程因此提出了一个包含模糊核、下采样和噪声等更复杂的退化模型。遥感图像SISR的研究已经有四十多年的历史了。早期的传统SR方法可以归结为以下三种类型基于插值法、基于重建法和基于学习法。近几年来在深度学习技术不断进步的过程中各种SR方法也相继出现并且使得性能不断提高。但是作者认为在遥感领域中对深度学习SISR进行全面综述仍然不足早期综述覆盖不全部分综述没有包括从2022年至2025年期间出现的新方法。但是最新的综述一般只会做方法上的回顾缺少统一的性能对比以及真实的世界上超分辨率的数据集。PART. 03十年方法谱系从CNN、Transformer到Diffusion和Mamba论文汇集了过去十年间共253篇有关的研究成果在方法综述的主要网络范式统计中又以2026年5月作为检索截止日期统计了从2015年开始至今的110篇相关的研究并将它们的主要结构归结为五种类型CNN、Transformer、GAN、Diffusion和Mamba。根据论文中给出的统计数据图可以知道在 2020 年之后各种方法的发表数量明显增多。从 2022 年之前来看CNN 仍然处于主导地位之后 GAN、扩散模型和 Transformer 等的数量也迅速增多Mamba 也开始参与到遥感超分辨率的研究当中来。两种组织口径的存在使得论文中的贡献总结中还把基础模型和混合架构单独列出一个类别所以完整的综述口径是七个类别Fig. 2/ Fig. 3 主要架构示意图和数量统计集中于五种网络范式。两种口径服务的是不同的层次的综述组织二者并不矛盾。Fig. 2CNN、Transformer、GAN、Diffusion 以及 Mamba 五种SR网络结构示意图Fig. 32020-2026年5月不同深度学习网络在遥感SR中的论文数量Fig. 4遥感图像超分辨率研究关键词词云Table 1代表性的遥感单幅超分辨率方法概览PART. 04L8S2PS-SR把超分辨率 benchmark 搬到真实的卫星场景为进一步缩小合成数据和现实世界之间差距的研究中使用了Google Earth Engine、Google Drive以及Planet卫星影像数据云平台建立了一个可以模拟真实的环境并且能够进行空间配准的多个来源超分辨率数据集。数据来源于Landsat 8、Sentinel-1、Sentinel-2以及PlanetScope等卫星包含了各个季节和地点的数据总的存储量为217.3GB。Landsat 8 影像的空间分辨率是30 米Sentinel-1和Sentinel-2都是10 米PlanetScope 为3.7 米。经过数据筛选和人工审核之后最后被保留195 个场景/ROI。Sentinel-2和PlanetScope数据之间的时间间隔小于等于7天Sentinel-2和Landsat8数据之间的时间间隔小于等于30天。该套数据的关键不只在于“分辨率不一样”而且要尽量保证空间配准、时间接近和无云遮挡。作者使用随机ROI采样、影像拼接、两轮人工检查以及PlanetScope数据筛选等方法最后得到了不同季节、不同地理区域的真实场景样本。真实的 world benchmark 有什么用而在于它把算法从理想的合成中拉回到真实的传感器、真实的时延和真实的地理分布。Table 3遥感SR常用的公开数据集对比L8S2PS-SR面向全球尺度的真实世界的SRFig. 7/8数据对提取流程和规则矩形区域选择Fig. 9最终ROI结构包括四季、城市和乡村场景Fig. 10全球随机ROI分布和真实的遥感图像示例PART. 0515 种方法实测CNN、扩散模型、Transformer 各有千秋本文在公开的NWPU-RESISC45数据集以及所提的L8S2PS-SR数据集中进行实验并得到结果。对基线方法Bicubic以及15种代表性SR模型进行定量和定性实验包括DRCAN、DSSR、AMSSRN、EGASR、ESRGAN等。SRAGAN、NDSRGAN、SRADSGAN、SwinIR、TransENet、HAT、TTST、EDiffSR、FastDiffSR、CNN-DiffSR。根据论文在NWPU-RESISC45上的一致性对比以及实际场景下的实验结果可以得出CNN 方法在像素级别的PSNR、SSIM等指标上都具有明显的优势而CNN和GAN类方法的复杂程度总体上低于扩散模型扩散模型在FID、LPIPS以及视觉效果上都具有很强的竞争优势而在像素保持一致性的前提下Transformer可以达到感知质量以及复杂度之间的平衡。Table 4NWPU-RESISC45上15种方法的×4超分辨率定量结果论文中对于PSNR的定义是MAX(IHR)表示HR图像的最大像素值MSE(ISR,IHR))表示SR重建结果和HR真值之间的均方误差。论文里PSNR 越大就说明像素级别的重建质量越好FID用来评价SR图象和真值图象之间的分布差异LPIPS用来评价感知相似性两者都要求越小越好。因此在不同的方法分别在PSNR/SSIM和FID/LPIPS上占优的时候并没有矛盾之处而是在于说明**“数值保真”与“视觉感知”之间还存在着选择的问题**。Fig. 14Landsat 8/Sentinel-2建筑场景上3×超分辨率的结果Fig. 15Sentinel-2/PlanetScope储罐场景上3×超分辨率的结果PART. 06挑战和展望接下来的研究会往哪个方向发展本文对目前遥感SISR领域所遇到的问题以及今后的研究方向进行了总结。论文正文把归纳为四种类型真实的LR-HR配对数据稀缺、大倍率SR、跨模态SR处理以及实时/在线SR。其中目前大部分现有的模型仍然针对某一特定模态进行设计跨模态和零样本迁移的能力不够大多数深度学习SR模型都存在这个问题计算复杂度高、模型规模大但是也受到了资源限制以及实时应用的影响。方向轻量高效SR使模型在参数量、计算量以及恢复能力上达到一个更加现实的平衡点。方向|和下游遥感视觉任务相结合除了要使图像看起来更加清楚之外还要去验证该算法对于分类、检测、分割等任务是否有实际的帮助。方向适合遥感特点的新颖评价标准论文认为目前使用的PSNR、SSIM等全参考指标都存在评价维度少、不能反映人的视觉感受以及和后续的任务不相关等问题未来的遥感指标应该更加符合遥感的特点并且能够体现出分类、检测等一系列后端功能的表现另外还要探索出适合遥感领域的无参照评价指标。论文正文部分一共提到了七种以后的研究方向。除了上述三种情况之外还明确指出真实的现实、真实的地理所对应的人力资源-地理位置HR-LR训练数据连续尺度SR、多模态遥感SR框架、遥感SR大模型等。遥感超分辨率要想真正地走向真实的这个世界还需要真实的地理对应的训练数据、连续尺度和多模态处理能力、下游任务验证、轻量化部署以及更加贴近遥感应用的新颖评价指标。PART. 07往期推荐END
