1. 为什么通用超分模型一碰到人脸就露怯我第一次把一套常规的超分网络直接搬到 FSRNet 想解决的问题上——把 16×16 的低分辨率人脸放大 8 倍到 128×128——结果出来的图让我有点怀疑人生。自然风景、建筑、纹理类图像放大之后观感勉强能接受边缘糊一点也就糊了人眼对树叶和砖墙的宽容度其实很高。但换成脸哪怕只是眼睛位置偏了两个像素、鼻翼轮廓少了一道转折整张脸的人感立刻就崩了。这就是 FSRNet 这类工作存在的根本理由人脸超分辨率和普通图像超分辨率压根就不是同一个难度量级的问题。FSRNet 的核心主张其实可以用一句话概括把人脸先验68 个关键点的热图、五官组件的分割热图显式地塞进超分网络里让网络在恢复像素的同时被这些结构化信息牵着走从而在 8 倍这种极端放大倍数下仍能重建出可信的五官。这个思路听起来朴素但落到工程上有大量值得琢磨的地方——先验怎么来、放在网络的哪一层、用几轮迭代、损失怎么配比。这篇笔记就按我读论文、复现代码、踩坑调试的顺序把这些东西一条条拆开讲。适合谁看做过基础超分、想往人脸方向深入的同学需要做老照片修复、低清人像增强的工程同学以及单纯想搞清楚先验注入这种范式该怎么落地的人。不需要你读过原论文但最好知道 SRResNet 和 hourglass 大概长什么样不然第二章会稍微吃力。1.1 人脸的容错率比自然图像低得多自然图像的退化是弥散的。一张低清的风景照网络把某片草地的纹理猜错了观众根本无从判断对错因为原始纹理本身就是高频随机噪声谁也不知道正确答案长什么样。但人脸不行。人脸的强结构性决定了它有一个非常明确的合法性边界眼睛必须在鼻子两侧对称位置瞳孔近似圆形嘴唇有明确的上下唇分界眉毛是斜向的弧形条带。这意味着两件事。第一人脸超分是一个带强约束的生成问题而不是纯粹的上采样问题。传统的 PSNR 导向训练会让网络输出一个平均值脸——所有可能的高频细节被平均掉结果就是五官糊成一团、皮肤过度平滑指标好看但观感塑料。第二错误的代价不对称。纹理猜错没人管但把左眼的位置猜偏半个眼球直径观众立刻觉得这不是人。所以在这类任务上结构先验的价值远大于像素级损失的微调。我后来的理解是常规超分网络在低清人脸输入上学到的映射本质上是从模糊到模糊的概率平均它缺少一个五官在哪、是什么的中间表示。人眼做同样的事情时是先认出这是眼睛、那是鼻子再调用对人脸的知识去补细节的。FSRNet 想做的就是把这一步显式地建模出来。1.2 先验信息在这个任务里到底顶什么用论文里用的先验有两类都是热图形式一类是 68 点关键点热图每个关键点在高斯分布下渲染成一张单通道响应图另一类是组件热图把脸分成若干语义区域皮肤、左右眉、左右眼、鼻子、上唇、下唇、口腔内部等每个区域一张二值或多值图。关键点热图提供的是位置约束。它告诉网络这里必须有一个眼角转折那里必须有一个嘴角端点。这在 8 倍放大下极其关键因为低清输入里这些位置的信息几乎全部丢失了纯粹靠纹理推断成功率很低。组件热图提供的是区域语义约束它解决的是这块像素属于皮肤还是属于嘴唇的归属问题。这两者结合相当于给网络提供了一张粗糙的人脸结构草图。这里有个很值得说的设计取舍论文没有用 3D 形变模型参数或者人脸解析图这种更重的先验而是选了热图。原因是热图天生和卷积特征图同构——都是 H×W 的空间张量可以直接 concat、可以直接做逐像素损失、可以直接用同一个解码器结构去预测。如果换成参数化向量比如 3DMM 的几十维系数就必须额外设计编码模块还要处理可微性问题工程复杂度会翻好几倍。这个选择很务实也是我复现时最省事的地方。注意热图先验有个隐含前提——预训练的关键点检测器在低清输入上不能崩得太厉害。论文的做法是让网络自己从低清图上预测先验而不是依赖外部检测器这就把检测失败的风险转化成了联合优化的问题。1.3 端到端联合学习与分步流水线的取舍在 FSRNet 之前主流做法是分步流水线先用一个现成的关键点检测器在低清图上跑一遍再把检测结果喂给超分网络。这条路的问题非常明显——低清图上的检测器本身就不可靠错误会直接固化进超分阶段而且两步之间梯度断掉了超分网络没法反过来纠正检测结果。FSRNet 选择了端到端先验估计和图像重建共享同一个主干损失函数里同时包含图像损失和先验损失梯度可以从两个方向一起回传。这样做的好处是先验估计会主动朝着有利于超分的方向优化而不是朝着标注框最准的方向优化。代价是训练更难调——两个任务的损失尺度差异很大权重稍微配不好网络就会退化成只学着画热图不管图像质量。我实测下来的感受是端到端确实值得但必须配合由粗到精的两段式结构不能一把梭。原因很直白——如果直接在低清输入上做精细重建先验估计的噪声太大了先让粗网络生成一张结构大致正确的粗超分图在这张图上估计先验信噪比会高得多精细网络拿到的输入质量也就上来了。这个顺序不是拍脑袋定的是任务本身的退化层级决定的。2. FSRNet 的整体架构拆解整体可以切成两大块粗超分网络Coarse SR Network和精修网络Fine SR Network。数据流是低清图 → 粗网络 → 粗超分图 粗先验 → 精修网络第一轮 → 精修图 精修先验 → 精修网络第二轮 → 最终输出。每一块单独看都不复杂复杂的是拼接方式和张量流向这也是我自己动手搭的时候最容易写错的地方。先把尺寸链路说清楚不然后面全是空谈。输入低清图 16×16×3粗网络先做一次双三次上采样到 128×128注意是上采样后再进网络而不是在网络内部一步步放大然后残差块堆叠做细节增强输出 128×128×3 的粗超分图。同时粗网络接出两条支路分别预测 68 通道的关键点热图和若干通道的组件热图尺寸同样是 128×128。这里的通道数根据组件划分确定论文用了一张热图对应一个语义区域的做法。2.1 粗超分网络被很多人低估的打底阶段粗网络的结构不花哨就是标准的残差堆叠几个残差块负责高频细节的初步恢复后面跟卷积层做通道压缩最后输出图像和两种先验。但我越调越觉得这一阶段的重要性被严重低估了。原因很简单——它决定了精细网络的输入上限。如果粗超分图的五官位置就整体偏移后面两轮精修不但救不回来还会把错误放大。所以我在复现时给粗网络加了两个约束效果肉眼可见。一是在粗网络输出端就计算图像 L2 损失而不是只让最终输出参与损失计算这样粗网络有明确的学习信号不会退化成随便给张图反正后面会修。二是粗网络的关键点分支用较大的高斯核渲染热图σ 取大一点响应区域更宽降低早期训练的定位精度压力。等训练稳定之后再逐步收紧。另外一个细节上采样放在网络最前面而不是像一些网络那样在末端用 PixelShuffle 放大。这两种做法在效果上各有说法但对 FSRNet 这种多分支结构来说前置上采样让所有分支图像、关键点、组件共享同一个空间分辨率拼接和逐像素损失都变得非常直接省掉了大量的尺寸对齐代码。工程上这是明显的优势。心得粗网络的输出不要当成中间结果随便看。我在调试时会把粗超分图、粗关键点热图叠在图上一起可视化一眼就能看出是定位偏了还是纹理没恢复。这个习惯帮我定位了至少一半的收敛异常。2.2 精修网络的三分支编码器怎么搭精修网络是整个方法的核心也是结构最绕的地方。每一轮精修包含三个并行的编码器分支图像编码器输入是当前轮的基础图像第一轮是粗超分图第二轮是第一轮的精修结果走一串卷积残差块提取纹理特征。关键点编码器输入是基础图像与关键点热图在通道维度的拼接3 68 通道提取与五官位置相关的特征。组件热图编码器输入是基础图像与组件热图的拼接提取与语义区域相关的特征。三个编码器结构相似但参数独立。为什么不让它们共享权重我的理解是三条支路关注的信息维度差别太大——图像支路关注高频纹理关键点支路关注局部极值位置组件支路关注区域边界。强行共享会让特征表达互相干扰。论文选择了独立编码器代价是参数量上升换来的是每一路的特征纯度。三个编码器输出之后进入融合阶段图像特征与关键点特征、组件特征分别做逐元素相加或通道拼接再送入后续解码器。融合方式论文给了具体的连接图我的经验是在融合前对先验支路的特征做一次 1×1 卷积降维会明显更稳——因为先验支路的特征通道数往往和图像支路不一致直接相加会强制对齐通道信息损失比较狠。2.3 两轮先验迭代与特征融合的细节迭代这个词在这篇论文里非常关键。精修网络不是跑一次就完事而是跑两轮且第二轮的先验来自第一轮的预测结果而不是粗网络的预测。这是一个典型的**自举bootstrapping**结构第一轮先用较粗的先验把图像修一遍同时把先验也修准一点第二轮拿更准的先验再修一遍图像。为什么这样做有效因为第一轮的输入图像质量比粗超分图好在这张更好的图上做关键点回归定位精度自然上升定位精度上升后第二轮的空间约束就更紧五官边缘的锐度也就上来了。这是一个正反馈循环。实测中从第一轮到第二轮的提升在眼睛和嘴巴区域最明显——这两处的细节对位置约束最敏感。但迭代不是越多越好。我试过堆到三轮、四轮收益迅速衰减而且出现了一个典型问题热图响应越来越尖锐最后退化成接近 one-hot 的硬标签导致图像在关键点附近出现不自然的硬边。原因大概是热图损失反复优化同一批目标响应分布被过度压缩。所以两轮基本是性价比最高的档位论文的选择是合理。2.4 一个容易忽略的设计跳连与反卷积的位置精修网络的解码器部分用了反卷积做上采样同时在编码器和解码器之间加了跳连。这部分看起来是标准 U-Net 套路但有两个坑我踩过。第一个坑是跳连的位置。如果把图像编码器浅层的特征直接跳到图像解码器的深层会把浅层的高频噪声也带过去在 8 倍放大下表现为细碎的斑点。我的处理是只在中间层做跳连浅层特征不进解码器。第二个坑是反卷积的棋盘效应。在 8 倍这种大倍数下连续反卷积很容易在输出上留下网格状伪影人脸上会被误认为皮肤纹理。解决办法是把部分反卷积换成最近邻上采样 3×3 卷积成本几乎不变伪影能压下去一大截。还有个小细节值得提关键点解码器和组件解码器的输出分辨率必须和图像解码器严格对齐否则在融合时要做插值插值会平滑掉热图的峰值直接导致定位精度下降。我在第一次实现时就因为某一层的 padding 写错导致差了一个像素训练 loss 一直降不下去查了整整一个下午。3. 损失函数设计与训练策略这套网络的损失项比一般超分网络多得多我第一次看的时候也觉得臃肿但逐项拆开之后发现每一项都有明确的职责删掉任何一项都会在某个维度上明显退化。把损失配比调对是这个方法能不能跑出效果的分水岭。3.1 五个损失项各管什么按职责梳理大致是这几类损失项作用对象主要职责我观察到的典型影响像素 L2 损失最终输出 vs 高分辨率真值保证整体色彩与亮度一致权重过大导致过度平滑、五官发糊关键点热图损失预测热图 vs 真值热图约束五官位置精度权重过小则眼睛位置漂移组件热图损失预测组件图 vs 真值组件图约束语义区域边界影响嘴唇、眼睑边界的干净程度对抗损失判别器对输出真伪的判断提升高频纹理真实感权重过大产生高频噪点和色斑全变分正则输出图像本身抑制异常高频噪声权重过大导致整体发虚这里最容易被忽略的是全变分正则。很多人做超分不带这一项觉得它是老古董。但在 FSRNet 这种带对抗损失的网络里生成器很容易在平坦区域比如额头、脸颊产生细密的高频噪声人眼对这种噪声极其敏感因为人脸皮肤应该是连续过渡的。全变分正则在这里扮演的是压噪阀门的角色权重不用大但必须有。对抗损失的作用也需要说清楚。它主要不是提升 PSNR 的恰恰相反加入对抗损失之后 PSNR 往往会掉一点点。它换来的是纹理的真实感——毛孔、唇纹、睫毛的细碎结构。这是一个典型的感知质量与像素指标之间的权衡后面第四章会展开。3.2 权重怎么定、先验损失为什么要压小论文给的权重配置里先验相关损失的系数明显小于图像损失。这个设定一开始让我困惑先验明明是核心卖点为什么权重反而小想明白之后逻辑其实很顺。先验热图的值域是 0 到 1 的稀疏响应绝大部分像素接近 0只有关键点周围一小片区域有值。如果权重给大了网络会疯狂优化那一小片区域的响应峰值导致热图过度尖锐同时把大量容量浪费在把 0 压得更接近 0上图像分支反而学不好。而且先验任务的难度远低于图像重建任务它很快就能收敛权重给大了会在后期持续干扰图像分支。我的实操建议是分阶段调前若干轮迭代把先验损失权重放大一些让网络先学会看位置收敛之后再降下来把容量让给图像细节。这种 warm-up 式的权重调度比固定权重稳得多。另外热图损失建议用逐像素 L2 而不是 L1原因是 L2 对峰值更敏感能更好地把响应集中到关键点附近但组件热图用 L1 反而更好因为组件图边界是硬边L1 对这种阶跃边界的梯度更稳定。注意不要试图用一套权重跑通所有放大倍数。4 倍和 8 倍的最优配比差别很大——8 倍下先验的权重需要更高因为低清输入里的结构信息丢失得更彻底。3.3 数据准备、预处理与增强的实操训练数据这块论文用的是大规模人脸数据集作为训练集另外几个小规模高质量人脸数据集做测试。我在复现时的做法是训练集用人脸属性数据集测试集用人脸关键点数据集和野外人脸数据集。这个划分方式的好处是测试集的关键点标注质量高评估先验精度时有可靠参照。低清图像的生成方式是一个特别容易出问题的地方。降质方式必须和测试时一致否则训练和测试的分布就对不上。论文用的是双三次下采样那么训练时的低清输入也必须用双三次。我见过有人训练用双三次、测试用真实低清照片结果惨不忍睹——真实降质包含模糊、噪声、压缩伪影和双三次完全不是一个分布。如果你要做真实场景就得在训练时做降质增广把高斯模糊、随机噪声、JPEG 压缩都加进去。数据增强方面人脸任务有一个特殊约束不能做大幅度的几何变换。随机裁剪、水平翻转、小角度旋转都可以但大角度旋转会破坏关键点的语义对应关系热图就废了。我一般把旋转限制在 ±10 度以内缩放限制在 0.9 到 1.1 之间。颜色抖动可以加但要轻——人脸肤色是有强先验的抖太狠会让网络学歪。还有一个细节关键点热图的真值渲染高斯核的 σ 要和输出分辨率匹配。128×128 输出下σ 取 2 到 3 比较合适σ 太小热图会退化成孤立像素点训练极不稳定σ 太大则定位精度上不去眼睛位置会飘。4. 消融实验里读出来的几个结论读论文时我最关注的就是消融部分因为它回答的是哪个模块真的有用、有用多少。这部分信息在实际项目中价值极高——你可以据此判断哪些模块值得复现、哪些可以砍掉。4.1 先验不是万能的看它加在哪消融里最核心的一组对比是去掉先验、只保留粗网络、加先验但不做精修、完整模型。结论很清晰——先验必须配合精修网络才有效果。只在粗网络上加先验分支提升非常有限而完整的先验 两轮精修组合提升幅度明显。这个结论说明先验的作用不是提供额外的输入信息而是给精修阶段提供空间约束它必须有一个足够强的重建主干来承载。另一个有意思的观察是关于组件热图的。把组件热图单独去掉指标下降幅度比去掉关键点小但视觉质量下降更明显——尤其是嘴唇和眼睑区域去掉组件先验之后唇线和双眼皮的边界会变得含糊。这提示我们关键点管位置对不对组件管理边界干不干净。如果你做的是证件照、人像精修这类对边界锐度要求高的场景组件先验不能省。4.2 迭代次数、感受野与细节恢复的平衡迭代次数的消融我印象很深从一轮到两轮提升明显两轮到三轮基本持平甚至略降。这和我在 2.3 节的实测感受完全一致。原因是两轮之后先验已经收敛到很尖锐的分布再迭代就是过度优化热图失去容错空间图像上会出现硬边。感受野这块论文没做特别细的消融但我在复现时试过调整编码器的卷积层数。结论是关键点支路不需要大感受野因为它本质上是局部极值定位任务感受野太大反而会被周围区域干扰而图像支路需要足够的感受野否则大面积的平滑区域比如脸颊会出现块状不一致。所以我在搭建时把图像支路的深度做得比先验支路深一些效果比三条支路等深更好。4.3 指标之外的视觉质量为什么 PSNR 会骗人这一节我想单独强调因为它直接影响你怎么评估自己的工作。FSRNet 这类方法在 PSNR/SSIM 上的提升是有限的有时候甚至不如纯 PSNR 导向的回归网络。但视觉上它的输出明显更像人——五官位置准确、边缘清晰、没有那种糊成一团的塑料感。原因在于 PSNR 是对逐像素误差取平均它天然偏好安全的平均值。当人脸的某个高频细节存在多种合理可能时输出平均值能让误差最小但视觉上就是模糊。而带先验约束和对抗损失的网络会主动选择一种具体的、锐利的可能性逐像素误差变大但感知质量更好。所以如果你要评估这类模型我建议至少加两项一是关键点距离误差用现成的检测器在输出图上跑一遍和真值比对二是人工主观打分或者用感知相似度指标。只盯着 PSNR 会让你做出错误的模型选择。我自己就吃过这个亏——曾经把一个视觉效果明显更好的版本回退掉了就因为它的 PSNR 低了 0.2 dB。5. 复现与落地中的踩坑记录理论和代码之间的距离在这篇论文上体现得淋漓尽致。结构图看着清楚真正写起来光是张量形状对齐就能耗掉两天。这一章记录我复现过程中遇到的问题和处理方式尽量写成可以直接抄的形式。5.1 骨架代码与关键张量形状下面是我用来验证数据流通畅的骨架代码省略了具体的残差块定义重点看形状流。这段代码的作用是跑一遍前向把所有中间张量的形状打印出来确认没有对不齐的地方。import torch import torch.nn as nn class CoarseSRNet(nn.Module): def __init__(self, num_landmarks68, num_parts11, base_ch64): super().__init__() # 输入已经是 128x128前置双三次上采样 self.body nn.Sequential(*[ResBlock(base_ch) for _ in range(6)]) self.img_head nn.Conv2d(base_ch, 3, 3, 1, 1) self.lm_head nn.Conv2d(base_ch, num_landmarks, 3, 1, 1) self.part_head nn.Conv2d(base_ch, num_parts, 3, 1, 1) def forward(self, x): f self.body(x) return self.img_head(f), self.lm_head(f), self.part_head(f) class FineSRNet(nn.Module): def __init__(self, num_landmarks68, num_parts11, base_ch64): super().__init__() self.enc_img Encoder(3, base_ch) self.enc_lm Encoder(3 num_landmarks, base_ch) self.enc_part Encoder(3 num_parts, base_ch) self.fuse_lm nn.Conv2d(base_ch * 2, base_ch, 1) self.fuse_part nn.Conv2d(base_ch * 2, base_ch, 1) self.dec_img Decoder(base_ch, 3) self.dec_lm Decoder(base_ch, num_landmarks) self.dec_part Decoder(base_ch, num_parts) def forward(self, img, lm_hm, part_hm): f_img self.enc_img(img) f_lm self.enc_lm(torch.cat([img, lm_hm], dim1)) f_part self.enc_part(torch.cat([img, part_hm], dim1)) # 先验特征经 1x1 降维后再与图像特征融合 g_lm self.fuse_lm(torch.cat([f_img, f_lm], dim1)) g_part self.fuse_part(torch.cat([f_img, f_part], dim1)) out_img self.dec_img(g_lm g_part) out_lm self.dec_lm(g_lm) out_part self.dec_part(g_part) return out_img, out_lm, out_part跑通之后顶层训练循环大致是这样组织的粗网络前向得到粗图和粗先验精修网络跑两轮每一轮输出的图像和先验都参与损失计算第一轮输出可以给一个较小的权重作为辅助监督最后统一反传。coarse_img, coarse_lm, coarse_part coarse(lr_up) fine_img1, fine_lm1, fine_part1 fine(coarse_img, coarse_lm, coarse_part) fine_img2, fine_lm2, fine_part2 fine(fine_img1, fine_lm1, fine_part1) loss 0 loss w_img * (l2(coarse_img, hr) l2(fine_img1, hr)) \ l2(fine_img2, hr) loss w_prior * (l2(coarse_lm, hr_lm) l2(fine_lm1, hr_lm) l2(fine_lm2, hr_lm)) loss w_part * (l2(coarse_part, hr_part) l2(fine_part1, hr_part) l2(fine_part2, hr_part)) loss w_adv * adv_loss(disc(fine_img2), realTrue) loss w_tv * tv_loss(fine_img2)5.2 训练不收敛的六个典型原因我在调试期遇到的异常基本都能归到下面这几类。整理成表方便你按现象反查。现象可能原因处理方式loss 长时间不降上采样位置写错编码解码尺寸不对齐逐层打印形状确认跳连两侧一致输出全灰或色彩偏移图像 L2 权重过大先验损失几乎不起作用降低图像损失权重检查真值归一化范围关键点热图全平高斯核 σ 过小或先验权重过小增大 σ提高先验损失前期权重人脸出现网格伪影连续反卷积导致棋盘效应部分反卷积换为最近邻上采样 卷积平坦区域满是小噪点对抗损失权重过大TV 正则缺失降对抗权重加 TV 项第二轮明显劣于第一轮热图过度尖锐约束过紧热图损失加标签平滑或减少迭代轮数其中第二轮明显劣于第一轮这个现象我印象最深。一开始以为是第二轮的网络参数没学好后来把两轮的热图可视化出来才发现第二轮的热图峰值已经被压得非常尖几乎成了单像素响应图像分支在这个约束下只能把边缘画得非常硬。加了一点标签平滑把热图峰值从 1.0 降到 0.9 左右或者把高斯核稍微放宽之后问题就消失了。5.3 常见问题速查表除了训练异常还有一些属于能跑但效果不对的问题更容易被忽略。第一个是测试时的输入尺寸不匹配。如果训练时固定 16×16 输入测试时来了 20×20 的图直接 resize 会引入额外退化。我的做法是测试时统一先 resize 到训练尺寸超分之后再 resize 回目标尺寸虽然多了一步插值但至少分布是稳的。第二个是色彩空间。训练用 RGB测试用 BGR输出会整体偏色且极难察觉。这类 bug 我建议在数据加载器里就统一成 RGB并在可视化脚本里显式断言。第三个是批量大小与批归一化的关系。这类网络里 BN 层不少小批量下统计量不稳会导致推理时出现明显的块状差异。我的经验是批量小于 8 时干脆把 BN 换成实例归一化或者直接去掉稳定性提升明显代价是收敛稍慢。提示调试这类多分支网络最有效的办法是把每个分支的输出都存成图按轮次命名。出问题时不用重跑直接翻图就能看出是哪一轮、哪一支出的问题。我现在的习惯是每个 epoch 存一次九宫格成本很低但价值极高。6. 这套思路在工程上还能怎么延展把 FSRNet 读完、复现完我最大的收获其实不是这个网络本身而是先验注入 由粗到精 迭代自举这套范式。它在很多结构化图像恢复任务上都能直接迁移改动量比想象中小。6.1 换先验从关键点到更稠密的结构表示关键点热图是稀疏先验68 个点覆盖不了整张脸的形状。如果要进一步提升可以换成更稠密的表示比如人脸解析图每个像素一个语义标签、或者稠密对应图每个像素一个三维表面坐标。代价是先验预测分支的任务变难了需要更强的骨干网络。我在一个小规模实验里试过把组件热图换成更细粒度的解析图把眼睛再细分成虹膜、瞳孔、眼白在 8 倍放大下瞳孔的高光位置确实更准了但整体 PSNR 没有提升说明稀疏先验已经足够覆盖主要的结构约束再细化边际收益不高。这个结论未必普适但至少说明先验的粒度要和放大倍数匹配4 倍以下用关键点就够了8 倍以上才值得上稠密表示。6.2 换场景监控、老照片与移动端监控场景的特点是低清且压缩严重人脸尺度小。这时候关键点检测本身就很难先验的可靠性会下降。我的做法是把先验损失权重降低同时增加降质增广的强度让网络学会在先验不准的时候也能靠纹理补。实测下来比硬套原配置稳定得多。老照片修复的差异在于退化类型完全不同——划痕、褪色、噪点这不是单纯的分辨率问题。直接套用会失败需要先在前面加一个退化分类或修复模块把输入规整到接近干净低清的分布再走超分流程。这个思路我觉得比强行端到端训练靠谱。移动端落地则是另一套逻辑。原版模型参数量和计算量都不小三个编码器并行更是吃显存。可以做的压缩包括把三条编码器支路改成共享浅层 独立深层的结构、把关键点分支的分辨率降到一半、用深度可分离卷积替换标准卷积。我做过一版量化到半精度的部署速度能到可用的程度画质损失主要在皮肤纹理上五官结构基本没有退化——这恰好印证了先验约束在压缩后依然鲁棒因为它约束的是低频结构而量化损失的主要是高频细节。我个人在实际操作中的体会是这类先验引导的工作价值往往不在论文报的那几个 dB 上而在于它给了你一个可以拆开、可以替换、可以在不同场景重新配比的模块化框架。你把先验换成别的、把迭代轮数改一改、把损失权重重调一下它就能适配一个完全不同的业务场景。真正难的部分从来不是搭网络是想清楚这个任务里什么信息是低清输入丢掉了但高分辨率输出必须有的然后把它变成一张能参与训练的热图。
