（论文速读）DeMoE：基于混合专家解码器的统一图像去模糊

论文题目Towards Unified Image Deblurring using a Mixture-of-Experts Decoder迈向基于混合专家解码器的统一图像去模糊会议CVPR 2026 Workshop项目代码https://github.com/cidautai/DeMoE摘要图像去模糊即去除图像中的模糊伪影是计算摄影和低层计算机视觉中的一项基础任务。现有方法主要关注针对特定模糊类型设计的专用解决方案因此缺乏泛化能力。这一局限意味着需要使用多个模型来覆盖不同的模糊类型而这在许多真实场景中并不实用。本文提出首个能够高效复原多种模糊退化图像的统一去模糊方法所覆盖的退化包括全局运动模糊、局部运动模糊、低光照条件下的模糊和散焦模糊。我们提出一种混合专家Mixture-of-ExpertsMoE解码模块根据识别出的模糊退化类型动态路由图像特征以端到端的方式实现准确而高效的复原。作为这项工作的一部分我们提出了一个面向该任务的新基准并在 8 个数据集上进行评估。我们的统一模型 DeMoE 具有通用、灵活和高效的特点并在未见过的模糊场景中展现出有前景的泛化能力尤其是在选择合适专家的情况下。一、为什么需要统一图像去模糊单幅图像去模糊的传统退化模型可以写成 y x ⊗ k n其中 y 是模糊观测x 是潜在清晰图像k 是模糊核n 是噪声⊗ 表示卷积。然而“模糊”并不是一种单一退化手持相机抖动可能造成全局运动模糊运动物体会产生局部模糊失焦带来散焦模糊低照度拍摄又常伴随运动模糊与噪声。不同退化的空间范围、频率特征和复原难度都不相同。现有深度去模糊模型通常采用一个数据集训练一个专用模型的策略。例如RealBlur 更关注真实相机抖动ReLoBlur 关注局部物体运动DPDD 关注散焦LOLBlur 则关注低光照运动模糊。一个在运动模糊上表现良好的模型不一定能直接处理失焦或低光照。若实际部署需要同时覆盖这些场景就要储存多个网络并且在推理前判断该调用哪个网络。已经有 All-in-One Image Restoration 方法尝试用单个模型处理去噪、去雨、去雾等不同任务但统一图像去模糊又有自己的难点这些退化同属模糊却具有显著不同的形成机制。本文希望将“识别模糊类型 → 选择对应模型 → 恢复清晰图像”整合为一次端到端推理同时尽量保留专用模型的能力。二、不同模糊任务之间究竟能共享什么作者没有直接堆叠专家而是先研究不同去模糊任务的网络参数是否相似。他们使用相同结构的 NAFNet分别在不同模糊数据集上训练专用模型然后计算对应网络层权重的 Pearson 相关系数。分析涉及 SCA 注意力、归一化、1 × 1 卷积和 3 × 3 卷积等组件。论文 Figure 2不同去模糊任务的 3 × 3 卷积层权重相关性Figure 2 中每组柱状图对应两个任务的逐层权重相关性红线标记相关系数 0.7。除了包含 LOLBlur 的若干组合外多数任务之间的 3 × 3 卷积权重呈现较高相关性。尤其是散焦 DPDD 与运动模糊 GoPro 的比较说明二者虽然退化来源不同网络仍可能学习到相近的局部邻域修正操作。低光照任务的相关性明显较弱也提示不同模糊类型并不能完全共享表示。这一观察给出了 DeMoE 的设计依据共享较通用的特征提取能力将退化差异交给可选择的专家来处理。需要注意权重相关性是一项经验分析不能据此证明不同任务的所有网络层都可无损共享它主要支持“共享主干 保留任务特化分支”的结构选择。三、DeMoE 整体框架共享编码器与 MoE 解码器论文 Figure 3DeMoE 网络结构、路由器与 MoEBlock整个网络基于轻量的 NAFNet / U-Net 式编码器—解码器可分为两部分通用特征提取与退化识别阶段以及由多个专家组成的复原解码阶段。输入图像经过共享编码器提取多尺度特征编码器末端的路由器识别当前图像更接近哪类退化并输出各专家的权重在解码器的多个层级MoEBlock 根据这些权重组合专家输出逐步重建清晰图像。这里的关键不是为五类模糊分别运行五套完整的编码器—解码器。DeMoE 共享编码端并在解码端放入任务特化的轻量专家。图中可以看到编码器的跳跃连接仍将多尺度信息传递到解码端所以通用结构与专用处理并没有被完全割裂。3.1 Router由图像特征生成专家选择权重路由器 R 接收共享编码器 E 提取的特征通过卷积、注意力、全局平均池化与 MLP 等操作生成 N 维打分再经 Softmax 得到归一化权重。实验采用N 5个专家对应五个训练数据集RealBlur、ReLoBlur、GoPro、LOLBlur、DPDD。作者报告路由器在所考虑的训练数据类别上具有超过 95% 的分类准确率但后面的 OOD 实验表明已知类别的分类表现并不能直接代表对未知分布的路由可靠性。对于输入模糊图像 y路由权重可写为 w Softmax(R(E(y)))。其中 E(y) 是编码特征R 是退化分类路由器表示第 i 个专家的重要程度。同一组路由权重会提供给解码器中的各个 MoEBlock因此它首先是一种基于输入图像整体特征的专家选择机制而不是每个像素都单独进行模糊分类。3.2 MoEBlock让少量相关专家参与恢复每个解码层的 MoEBlock 都拥有 N 个独立专家各自学习与某类模糊更相关的特征变换。其输出按照路由权重求和其中 h 是当前解码特征是第 i 个专家处理后的结果是融合后的特征。公式表达了完整的加权组合训练和推理的专家参与方式则不同训练阶段使用可微的 Softmax 门控让所有专家都获得学习机会推理阶段只调用权重最大的 Top-k 个专家避免每次都执行全部分支。论文重点采用 k 1 的配置即每个 MoEBlock 仅执行一个被选中的专家。这样活跃的复原路径接近单专家 NAFNet而整个模型仍保存多类退化所需的专家参数。参数总量与单次推理计算量必须区分未被选中的专家仍占用模型存储但不会产生同等规模的推理计算。四、如何训练先学习通用表示再微调专家单纯让五个专家从零开始竞争容易造成共享特征与任务特化表征相互干扰。作者采用两阶段的退化感知训练策略。第一阶段联合训练基础复原网络和路由器同时优化像素回归与退化分类。其目标函数为其中 x 与分别为清晰真值与复原结果是当前退化类型的真实类别分布是路由器预测的概率。像素损失要求图像恢复正确分类损失要求编码特征具有区分不同模糊的能力。第二阶段冻结编码器和路由器仅微调 MoEBlocks 及解码器层并使用像素 L1 损失。直观来看第一阶段先学会“这些图像共同具有怎样的可恢复结构以及它们属于哪种退化”第二阶段再让不同专家针对各类模糊精细地学习修正。这样既减少了多任务端到端训练中的相互牵制也使专家选择具有明确的退化类别含义。五、实验结果与消融分析5.1 AIO-Blur把五类去模糊任务放在同一训练条件下作者构建AIO-Blur基准将 RealBlur、ReLoBlur、GoPro、LOLBlur 和 DPDD 的训练与测试划分结合起来并要求 PromptIR、Restormer、FFTFormer、SFHFormer、NAFNet 和 DeMoE 使用相同的统一训练设定。评价指标包括 PSNR越高越好、SSIM越高越好和 LPIPS越低越好。效率统计采用 256 × 256 图像块在 RTX 4090 上测量 MACs 与推理时间。论文 Table 1AIO-Blur 五类模糊任务的统一评测与计算成本最值得关注的是整体均值而不是单项最高分。DeMoETop-1的平均PSNR / SSIM / LPIPS 为 29.19 / 0.877 / 0.208同样统一训练的 NAFNet 为29.12 / 0.873 / 0.215PromptIR 为28.63 / 0.851 / 0.218。DeMoE 的提升是稳定但有限的而非对各项基线的全面大幅领先。在 GoPro 上DeMoE 的 PSNR 为30.06 dB高于 NAFNet 的29.56 dB但在 RealBlur 上SFHFormer 的29.69 dB仍明显高于 DeMoE 的28.96 dB。效率方面DeMoE 使用20.15M 参数、11.05G MACs、13.1 msPromptIR 是35.59M、158.4G、34.4 ms。DeMoE 因而显著降低了计算量与耗时但不等于它是表中最快的NAFNet 为10.08M、11.02G、8 ms。这里可以看到 MoE 的实际取舍多保存一些专家参数换取多退化场景的适配能力同时仅激活少量专家来控制计算。5.2 AIO-Blur-OOD泛化能力的关键在于选对专家为了检验训练分布以外的表现论文额外使用 RealDOF、RSBlur 和 Real-LOLBlur 构建测试集。它们不属于前述五个统一训练数据集。这里必须区分自动路由的 DeMoE与人工指定正确专家的 DeMoE†因为两者的结论并不相同。论文 Table 2AIO-Blur-OOD 上的自动路由与人工专家选择结果在 RSBlur 上自动 Top-1 路由的 DeMoE 为19.23 dB / 0.640人为选择更适合该退化的专家后达到27.53 dB / 0.763。Real-LOLBlur 使用无参考质量指标自动路由的 MUSIQ 为31.34人工选择 LOLBlur 专家后达到38.91。这说明模型内部确实保存了具有迁移潜力的专家能力却不代表路由器已经能够可靠识别所有未见模糊。若专家选错潜在的恢复能力就无法发挥。因此论文所展示的 OOD 优势应当更准确地表述为DeMoE 在适当专家选择下具备很强的跨分布适应潜力但其完全自动化的 OOD 去模糊仍受路由器限制。人工选择专家需要额外的退化判断或用户干预不能与无需先验的自动推理视为相同使用条件。5.3 与单任务专用模型的关系论文 Table 3统一训练的 DeMoE 与各任务专用模型对比统一模型不应被理解为在每一种模糊上都超过单任务最优方法。在 ReLoBlur 上DeMoE 得到34.52 dB / 0.925接近专用的 LBAG34.66 dB / 0.925在 DPDD 上DeMoE 为25.56 dB / 0.797专用 Restormer 为25.98 dB / 0.811。RealBlur-J 上专门训练的 MLWNet-B 明显强于统一训练的 DeMoE。因为这些专用方法与 DeMoE 的训练数据范围不同表中的跨范式对比主要用于观察通用化带来的性能代价而不是严格公平的同条件排名。论文 Figure 5五种模糊场景中的复原效果对比可视化涵盖失焦、低光照、局部运动和一般运动模糊重点比较边缘、文字及物体细节。DeMoE 用同一个模型覆盖这些输入在多个场景下获得具有竞争力的复原结果其价值更多体现为覆盖多类退化、降低部署中的模型切换成本而不是逐张图像都优于各类专用模型。5.4 消融实验验证了哪些设计选择训练流程消融对比完全从头端到端训练、预训练基础网络后微调、仅微调 MoE 解码器检验两阶段训练与参数冻结的必要性。路由学习策略比较在训练时向路由器权重加入噪声等方式检验不同专家参与学习的策略。专家架构替换将 NAFBlock 专家与膨胀卷积、Wavelet Attention、MDTA、PLK Attention 等方案比较研究复原质量和效率之间的取舍。激活专家数量考察不同 Top-k 选择下的参数存储、活跃计算与推理时间分析稀疏执行的意义。六、总结与思考DeMoE 的核心贡献并不是提出一种新的去模糊卷积算子而是用“共享通用特征 退化感知路由 专家解码器”重新组织多种去模糊任务。其前期的网络权重相似性分析解释了为什么不同模糊任务可能共享局部复原能力两阶段训练和 Top-k 专家选择则让统一模型在保留任务差异的同时控制推理成本。这篇论文有两个值得继续研究的问题。第一路由器如何在未见退化上稳定地识别或组合专家目前人工指定专家带来的大幅改善恰恰揭示了自动路由仍是限制模型泛化的关键。第二当前路由权重主要由图像整体特征生成如果一张图同时出现局部运动、失焦和低照度等混合退化是否需要更细粒度的空间路由这属于从现有结构出发的后续研究方向论文并未证明现有模型已解决这个问题。如果把这篇论文压缩成一句话DeMoE 通过共享编码器和可选择的 MoE 解码器将原本需要多个专用网络处理的模糊场景纳入单个模型它验证了统一去模糊的可行性也明确暴露了开放场景中“识别退化、选对专家”的难题。