DCGAN图像恢复实战：原理、PyTorch实现与调参避坑指南

简介面向深度学习与图像生成初学者这套压缩包提供了生成对抗网络的完整实验素材可用于理解生成器与判别器的对抗训练机制并动手实践图像生成与修复。资源共二十个文件核心为一份Python源码配合十一张不同训练阶段的手写数字输出图可直观观察从噪声到清晰样本的生成过程另有少量工程配置与忽略文件属于轻量级项目包压缩后仅三百七十五KB便于快速部署运行。目前已有六百四十九人学习下载适合入门者结合源码逐行阅读也适合在图像恢复、数据增强等场景中作为基础模板使用。包内目录结构简洁代码与结果图分离便于对照训练输出进行复盘借助典型的卷积与反卷积层实现能帮助开发者理解特征提取、批量归一化等关键操作在生成任务中的实际作用尤其适合想快速跑通生成对抗网络流程的读者。1. 当图像恢复从“抠细节”变成“凭记忆补全”DCGAN 是那条更野的路你要是只用传统方法做过图像恢复大概率会遇到同一个尴尬去噪、去模糊、超分这些任务本质都是在做“已知像素之间的插值”。遇到大面积缺失或者严重退化传统算法只能给出一个平滑但模糊的结果因为它的底层假设是局部像素有连续性。但真实图像不是这样。一块被划掉的天空、一张老照片折痕下的半张脸它们的信息藏在全局结构里藏在“这类东西本该长什么样”的先验里。这正是生成对抗网络擅长的事生成器不是去修补像素而是去生成一张可信的完整图像让判别器分不清恢复结果和真实图像的区别。DCGAN 作为 GAN 家族里结构最干净、最容易复现的一版成了入门图像恢复最合适的脚手架——它让“用深度学习补图”这件事从玄学变成可调试的工程。这篇文章面向两类人刚接触生成对抗网络、想跑通第一个完整图像生成/恢复项目的学生或新人工程师以及用过传统图像恢复算法、想在深度学习方向上找一个低门槛起点的从业者。你会看到 DCGAN 的完整原理拆解、基于 PyTorch 的最小可运行代码、六个让我翻过车的参数坑位以及最后怎么评估恢复结果而不是只看 loss 曲线。它解决的是“能用”层面的问题——不是把 DCGAN 调成 SOTA 级恢复模型而是让你在两天内跑通、看懂、并且知道下一步该往哪走。2. DCGAN 的网络结构与图像恢复原理先搞清楚它凭什么能补图2.1 生成器和判别器的对抗关系以及图像恢复为什么需要这种对抗DCGAN 的全称是 Deep Convolutional Generative Adversarial Network核心思想不是一个网络而是两个网络互相博弈。生成器 G 的任务是输入一个随机噪声向量 z输出一张伪造图像判别器 D 的任务是判断输入图像是真的来自训练集还是 G 生成的伪图。训练过程就是让 G 越来越擅长骗 D让 D 越来越擅长识破 G。这个对抗的过程最终会让 G 学会训练集图像的分布——它不再记住某几张具体图片而是理解了“这类图像长什么样”。图像恢复任务和纯图像生成有个关键区别生成是从纯噪声出发没有任何约束恢复是给了一张退化图像需要在“保持已知信息”和“补充未知信息”之间做权衡。所以用在恢复任务上时DCGAN 的生成器输入不再是纯噪声而是退化图像本身或者“退化图像 噪声”的拼接。目标从“生成一张看起来真实的图”变成“生成一张看起来真实、并且保留原图已知区域细节的图”。这里有个值得想明白的点为什么 MSE 损失训练出来的恢复模型不够用用 L2 损失训练的模型倾向于生成模糊结果——因为把像素预测成中间值能降低平均误差但图像的主观质量极差边缘是糊的、纹理被抹平了。GAN 的对抗损失不直接比较像素而是让判别器学会图像级别的真实感判断这逼着生成器去制造锐利的边缘和合理的纹理。你可以在最终损失里同时保留 L2 和对抗损失让恢复结果既贴近原始像素、又具备真实感。2.2 DCGAN 的四个关键结构约束为什么卷积 GAN 非得这么搭DCGAN 在原始 GAN 的基础上提出了四类结构约定这四类约定直接影响图像恢复任务的稳定性和质量。第一生成器里用转置卷积做上采样不用池化。转置卷积或者叫反卷积能把低分辨率的特征图逐步放大到目标尺寸。判别器里用带步长的卷积做下采样也不做池化。前后使用相同的步长策略可以避免梯度在池化层附近变得稀疏。第二除了生成器最后一层用 Tanh、判别器第一层输入不做 BN其余所有层都做批归一化Batch Normalization。BN 的用途是让每层输入分布尽量一致避免训练中途分布漂移导致某个生成器或判别器突然占上风。第三判别器内部全部使用 LeakyReLU 激活斜率设为 0.2避免生成器那边 ReLU 把负值全部截断导致梯度死掉。第四生成器内部使用 ReLU 激活最后一层用 Tanh 把像素值压缩到 [-1, 1] 区间。训练时真实图像也要同步归一化到这个区间否则判别器只看数值范围就能分辨真假对抗就失效了。2.3 从噪声到图像生成器内部发生的变化假设输入噪声是 100 维的向量要输出 64×64×3 的图像生成器内部其实就是一系列转置卷积的级联。常见结构是第一层把 100 维向量投影成 4×4×1024 的特征图然后逐层上采样4×4 → 8×8 → 16×16 → 32×32 → 64×64每次尺寸翻倍通道数逐层减半。每一层都做 BN ReLU最后一层换成 Tanh。在图像恢复场景里输入从噪声变成退化图像后生成器的第一层实际上是“图像编码 → 瓶颈表示 → 图像解码”的结构先用普通卷积把退化图像压成一个低维特征再经过转置卷积逐步恢复分辨率。你可以把它理解成一个加了对抗训练的自编码器。瓶颈层的压缩会迫使模型只保留结构级信息丢掉噪声和退化痕迹这就是恢复能力的来源。2.4 损失函数怎么组合纯对抗 vs 对抗 内容损失纯 DCGAN 用二元交叉熵作为判别器和生成器的损失。判别器 D 的损失是“对真图输出接近 1、对假图输出接近 0”的分类误差生成器 G 的损失是“让判别器对假图输出接近 1”的欺骗误差。这两个损失交替优化模型才会逐步收敛。但如果只靠这个对抗损失做图像恢复大概率恢复出的图会“局部走样”——比如人脸恢复时眼睛位置偏移因为对抗损失只关心整体分布不关心像素级对应。所以用于恢复时我一般会加一项内容损失L1 或者 L2 距离让生成结果和原始清晰图在像素层面靠近。最终的生成器损失是对抗损失 λ * 内容损失λ 通常取 10 到 100 之间需要根据退化程度调。退化严重时 λ 小一些让对抗损失去发挥补全能力退化轻时 λ 大一些防止生成器篡改已知区域的细节。3. 用 PyTorch 复现 DCGAN 做图像恢复从数据预处理到完整训练流程3.1 准备数据高质量清晰图 人为退化配对样本才有恢复目标图像恢复属于监督学习或者半监督学习DCGAN 训练需要成对的退化图和清晰图。一个非常实用的做法是在训练阶段用清晰图人为制造退化——加高斯噪声、高斯模糊、随机遮挡。这样做的最大好处是标签免费且可控你能精确知道恢复目标长什么样还能用代码控制退化的严重程度。建议数据集CelebA 人脸数据集大约 20 万张人脸图非常适合做入门验证尺寸统一为 64×64 或者 128×128如果没有条件下载直接拿 COCO 数据集的部分子集或者自己爬 1 万张街景图也行。关键在于图像内容必须“结构性强”——有脸的、有物体的、有建筑轮廓的都行纯纹理或纯色块不适合用来观察 GAN 的恢复效果。我的习惯是把退化过程写成数据增强的一部分import torch from torch.utils.data import Dataset from torchvision import transforms from PIL import Image import numpy as np import os class DegradationDataset(Dataset): def __init__(self, img_dir, degrade_typenoise, degrade_factor25): self.img_paths [os.path.join(img_dir, f) for f in os.listdir(img_dir)] self.degrade_type degrade_type self.degrade_factor degrade_factor self.to_tensor transforms.ToTensor() self.resize transforms.Resize((64, 64)) def degrade(self, img_tensor): # 输入是 3x64x64 的 tensor值域 [0,1] if self.degrade_type noise: # 加高斯噪声degrade_factor 是噪声标准差 noise torch.randn_like(img_tensor) * self.degrade_factor / 255.0 return torch.clamp(img_tensor noise, 0.0, 1.0) elif self.degrade_type blur: # 模拟高斯模糊用卷积核做平滑这里简化成 3x3 均值滤波 kernel torch.ones(1, 1, 3, 3) / 9.0 kernel kernel.expand(3, 1, 3, 3) return torch.nn.functional.conv2d( img_tensor.unsqueeze(0), kernel, padding1, groups3 ).squeeze(0) elif self.degrade_type mask: # 随机遮挡生成一块矩形黑斑 masked img_tensor.clone() h, w masked.shape[1], masked.shape[2] x1, y1 np.random.randint(0, h-16), np.random.randint(0, w-16) masked[:, x1:x116, y1:y116] 0.0 return masked def __getitem__(self, idx): img Image.open(self.img_paths[idx]).convert(RGB) img self.to_tensor(self.resize(img)) degraded self.degrade(img) # 归一化到 [-1, 1]和生成器 Tanh 输出对齐 return degraded * 2 - 1, img * 2 - 1 def __len__(self): return len(self.img_paths)这段代码有三个要点。第一degrade_factor控制退化严重程度做去噪实验设 20~30做超分实验可以把退化改成先缩小再放大。第二归一化到 [-1, 1] 是必需项不是可选项——判别器输出的目标是区分真实值和伪值如果输入数值范围不一致判别器会走捷径直接按照数值范围判断真假不学习任何图像结构。第三mask退化类型对应的是图像修复任务每次取图时随机生成一块 16×16 的黑色区域这要求生成器必须依靠上下文推理补全而不是简单复制周围像素。3.2 生成器和判别器的具体实现通道配置与核大小的选择逻辑接下来是网络主体。生成器结构5 层转置卷积从 100 维噪声上采样到 64×64×3。判别器结构5 层带步长卷积从 64×64×3 下采样到 1 个标量输出。import torch.nn as nn class Generator(nn.Module): def __init__(self, latent_dim100): super().__init__() self.fc nn.Linear(latent_dim, 4 * 4 * 512) self.model nn.Sequential( nn.BatchNorm2d(512), nn.ReLU(True), # 4x4 - 8x8 nn.ConvTranspose2d(512, 256, kernel_size4, stride2, padding1, biasFalse), nn.BatchNorm2d(256), nn.ReLU(True), # 8x8 - 16x16 nn.ConvTranspose2d(256, 128, kernel_size4, stride2, padding1, biasFalse), nn.BatchNorm2d(128), nn.ReLU(True), # 16x16 - 32x32 nn.ConvTranspose2d(128, 64, kernel_size4, stride2, padding1, biasFalse), nn.BatchNorm2d(64), nn.ReLU(True), # 32x32 - 64x64 nn.ConvTranspose2d(64, 3, kernel_size4, stride2, padding1, biasFalse), nn.Tanh() ) def forward(self, z): x self.fc(z).view(-1, 512, 4, 4) return self.model(x) class Discriminator(nn.Module): def __init__(self): super().__init__() self.model nn.Sequential( nn.Conv2d(3, 64, kernel_size4, stride2, padding1, biasFalse), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(64, 128, kernel_size4, stride2, padding1, biasFalse), nn.BatchNorm2d(128), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(128, 256, kernel_size4, stride2, padding1, biasFalse), nn.BatchNorm2d(256), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(256, 512, kernel_size4, stride2, padding1, biasFalse), nn.BatchNorm2d(512), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(512, 1, kernel_size4, stride1, padding0, biasFalse), ) def forward(self, img): return self.model(img).view(-1, 1)注意生成器的第一层不是直接接转置卷积而是先经过一个全连接层把 100 维噪声投影成 1024 个 4×4 特征图。这个投影是为了让噪声向量能够均匀地分布到空间维度避免信息集中在某个局部区域。判别器的最后一层卷积核大小为 4、步长为 1、无填充目的是把 4×4 的特征图压成 1×1 输出。如果做的是图像恢复而不是纯生成生成器部分的修改方式把噪声输入替换为退化图像第一层换成一个 3 通道输入的卷积层用于把退化图编码到 512 维特征。这意味着生成器变成“图像到图像”的结构权重初始化方式不变。3.3 训练循环adam 参数、标签平滑和真实图像判别方向的坑训练 DCGAN 的循环几乎和所有 GAN 训练循环一样每个 batch 先训练判别器再训练生成器。但有几个参数设置必须调整到合适范围否则模型百分之百翻车。import torch.optim as optim def train_dcgan(generator, discriminator, dataloader, epochs50, lr0.0002): g_opt optim.Adam(generator.parameters(), lrlr, betas(0.5, 0.999)) d_opt optim.Adam(discriminator.parameters(), lrlr, betas(0.5, 0.999)) criterion nn.BCEWithLogitsLoss() for epoch in range(epochs): for degraded, clean in dataloader: batch_size degraded.size(0) real_labels torch.ones(batch_size, 1) * 0.9 # 标签平滑 fake_labels torch.zeros(batch_size, 1) # ---- 训练判别器 ---- d_opt.zero_grad() real_out discriminator(clean) d_real_loss criterion(real_out, real_labels) noise torch.randn(batch_size, 100) fake generator(noise) fake_out discriminator(fake.detach()) d_fake_loss criterion(fake_out, fake_labels) d_loss d_real_loss d_fake_loss d_loss.backward() d_opt.step() # ---- 训练生成器 ---- g_opt.zero_grad() fake_out discriminator(fake) g_adv_loss criterion(fake_out, real_labels) g_loss g_adv_loss g_loss.backward() g_opt.step()这段循环代码里有三个容易出问题的细节。第一real_labels填的是 0.9 而不是 1这是标签平滑防止判别器输出过饱和导致梯度消失。第二fake.detach()是必须的——在训练判别器阶段不能让梯度流回生成器否则两个网络会同时更新这个 batch 的对抗信号就乱了。第三Adam 的 beta1 必须设为 0.5不能用默认的 0.9。原因在于动量项太大时生成器容易陷入振荡GAN 训练的稳定性对平均历史梯度的敏感度远高于普通分类任务。训练中需要每一定步数保存生成器参数和生成样本否则后期发现模型崩了但没有中间快照相当于白跑。保存频率建议每个 epoch 结束保存一次generator_state.pth每 5 个 epoch 保存生成的恢复图对比原图和退化图。3.4 把生成器接到恢复任务上输入退化图、输出清晰图的训练分支上面训练的生成器还只是从噪声生成图像做恢复需要加一个分支把退化图作为条件输入。有两种常见做法我推荐第二种。第一种是“前端拼接”把退化图和随机噪声拼接后一起送给生成器噪声部分负责引入随机性。这种方式在强退化场景下容易产生不稳定的恢复结果因为噪声会干扰已知区域的信息。第二种是“编码器-解码器 对抗”生成器变成一个自编码器退化图经过编码器压成瓶颈向量解码器从瓶颈向量恢复出完整图。这种方式信息路径清晰恢复结果更可控。class RestorationGenerator(nn.Module): def __init__(self, latent_dim100): super().__init__() # 编码器3x64x64 - 512x4x4 self.encoder nn.Sequential( nn.Conv2d(3, 64, kernel_size4, stride2, padding1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(64, 128, kernel_size4, stride2, padding1), nn.BatchNorm2d(128), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(128, 256, kernel_size4, stride2, padding1), nn.BatchNorm2d(256), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(256, 512, kernel_size4, stride2, padding1), nn.BatchNorm2d(512), nn.LeakyReLU(0.2, inplaceTrue), ) # 解码器和 DCGAN 生成器后半段一致 self.decoder nn.Sequential( nn.ConvTranspose2d(512, 256, kernel_size4, stride2, padding1), nn.BatchNorm2d(256), nn.ReLU(True), nn.ConvTranspose2d(256, 128, kernel_size4, stride2, padding1), nn.BatchNorm2d(128), nn.ReLU(True), nn.ConvTranspose2d(128, 64, kernel_size4, stride2, padding1), nn.BatchNorm2d(64), nn.ReLU(True), nn.ConvTranspose2d(64, 3, kernel_size4, stride2, padding1), nn.Tanh() ) def forward(self, degraded_img): z self.encoder(degraded_img) return self.decoder(z)这个结构的核心是编码器没有使用任何全连接层直接用卷积把空间尺寸逐步压缩保留空间相对位置信息。这对图像恢复是必需的——全连接层会丢掉“哪个位置缺失了什么”的空间信息而空间结构恰恰是恢复的关键先验。解码器部分沿用 DCGAN 的转置卷积结构每层通道减半、尺寸翻倍最终回到输入分辨率。需要注意编码器里使用了 LeakyReLU而解码器使用 ReLU这个不对称是有意为之编码器负责提取特征需要保留负值信息防止梯度流失解码器负责生成图像ReLU 能产生更锐利的输出。4. DCGAN 图像恢复的关键参数配置学习率、损失权重和图像尺寸之间的博弈4.1 六组默认参数和它们的调节区间我收集了一套花过很多轮实验得出的参数区间直接给出结论方便你试参数默认值合理区间调节方向说明学习率0.00021e-4 ~ 5e-4大于 5e-4 时判别器快速收敛生成器永远追不上Adam beta10.50.4 ~ 0.6高于 0.7 会让训练振荡生成样本出现周期性的扭曲batch size6432 ~ 128太小判别器过拟合太大生成器梯度被平均掉恢复细节变糊生成器内容损失权重 λ10010 ~ 200退化严重时调小让对抗损失主导补全图像输出尺寸64×6432×32 ~ 128×128超过 128 时纯 DCGAN 收敛困难需要换残差生成器判别器迭代次数11 ~ 5如果生成器崩了输出全灰可以暂时调高到 3第一个要展开的是内容损失权重 λ。做纯去噪时退化程度低已知信息占比高λ 设到 100 以上让恢复结果严格贴合原始像素。做遮挡修复时遮挡区域完全没有像素信息λ 太高会让生成器去猜测遮挡区域应该如何贴近一个不存在的真实值结果就是模糊因为 L1/L2 损失在不确定区域的最优解是均值——糊成一片。这种场景建议 λ 降到 10 ~ 20。第二个要展开的是图像尺寸和生成器结构的关系。64×64 是 DCGAN 的舒适区在这个尺寸下转置卷积可以很好地生成锐利结构。如果用到 128×128最后两层的感受野不足以覆盖大范围的空间关系很容易生成“局部合理、全局断裂”的图。此时建议把解码器中间层改成残差块或者直接把生成器换成 U-Net 结构的变体否则纯粹靠加深 DCGAN 会不断翻车。4.2 学习率、batch size 和判别器迭代次数怎么搭配很多新手把 DCGAN 当成普通 CNN 来调参学习率先从 0.01 开始然后一路降——这是非常常见的误区。DCGAN 在 0.01 学习率下几乎必崩而且崩的方式很有迷惑性一开始 loss 疯狂下降看起来训练进展不错然后某一轮生成器突然输出全黑或者全噪点图之后再也爬不起来。经验做法是保持学习率固定不要用学习率衰减。GAN 训练在接近收敛时本来就会进入动态平衡如果生成器的学习率被调低了它会在判别器面前变得“任人宰割”判别器会把所有生成样本都判为假生成器梯度爆炸输出满屏噪点。如果你的训练过程稳定下来了不要想着让 loss 更低不要随手加个 scheduler保持现状是最优解。batch size 和判别器迭代次数是配合使用的。batch size 小32时判别器每个 batch 看到的真实样本少更容易被生成器骗过训练不稳定batch size 大128时判别器非常强生成器学不动恢复图会模糊。中庸的选择是 64batch size 64 配合判别器每轮只更新一次能保持两者的能力差距在合理范围内。如果出现“生成器崩塌”现象输出图像都是同一种纹理或者同一张脸优先尝试调高判别器更新次数到 2~3压一压生成器让它更努力地逃生。4.3 归一化方式和数据增强对恢复结果的影响归一化这件事值得单独拿出来写。做图像恢复时退化图像和真实图像必须采用完全相同的归一化方式否则判别器会直接通过亮度分布来区分真假。具体做法是训练集统计出的均值和标准差同时对退化图和清晰图做标准化归一化后再做* 2 - 1转换到 [-1, 1] 区间。有人喜欢直接用(x - 0.5) * 2的方式把 [0,1] 映射到 [-1,1]也可以但必须保证推理阶段和训练阶段一致。数据增强方面随机水平翻转可以用但不要用随机裁剪——图像恢复任务里裁剪会破坏退化图和清晰图之间的像素对应关系生成器会学到错误的映射。如果一定要做多尺度把退化图和清晰图用同一个随机种子裁剪确保位置一致。颜色抖动增强也建议关闭因为 DCGAN 的生成器对颜色分布非常敏感颜色扰动会让判别器学到错误信号导致恢复图的饱和度和色调出现偏差。5. DCGAN 训练避坑记录五个我亲手踩进去又爬出来的坑5.1 生成器输出全黑/全灰图loss 看起来却“正常”现象训练到第 3 ~ 5 个 epoch生成器输出的图像全部变成同一张灰色模糊图判别器的 loss 维持在一个不高不低的位置看起来训练还在进行实际上已经死了。原因判别器器先一步收敛它能轻易识别出生成样本导致生成器梯度接近零。生成器不再学习直接停在某个局部最优点通常是输出全灰因为灰图的 L2 损失在所有候选图里最小。GAN 的叫法给这种现象起了个名字叫“模式崩塌”但在 DCGAN 的图像恢复场景下它通常是判别器太强导致的。解决把判别器的学习率降到生成器的一半具体做法是设置d_opt optim.Adam(discriminator.parameters(), lr0.0001)g_opt optim.Adam(generator.parameters(), lr0.0002)。同时检查标签平滑——如果你用的是 1/0 硬标签换成 0.9/0.1 能避免判别器输出过于自信保留更多梯度信号给生成器。5.2 恢复结果清晰但“不像原图”内容损失和对抗损失的权重失衡现象恢复出来的图像锐利、清晰、细节丰富但是跟清晰原图一对比像素级相似度很低。比如人脸恢复后眼睛位置偏移了几毫米肤色和原图不一致。原因λ 设得太小生成器只参考对抗损失它编造了“看起来合理但与输入不对应”的内容。在图像恢复场景里这意味着生成器在发挥想象力而不是做恢复。解决直接把 λ 从 10 提升到 100然后观察 PSNR 和 SSIM 的变化。如果 PSNR 上升明显说明内容损失正在起约束作用。如果 PSNR 上升但视觉质量下降太模糊再把 λ 回调到 50 左右。这是一个需要反复横跳的经验值我建议每次改完 λ 都同时查看三组结果原图、恢复图、像素差热力图不要只看数值。5.3 训练到后期 loss 震荡幅度越来越大图像质量时好时坏现象训练到第 30 个 epoch 之后生成器 loss、判别器 loss 都在持续波动每隔几个 epoch 恢复质量差一次然后又变好往复循环。原因两个网络在动态博弈中产生了周期性对抗生成器学到的策略一被判别器识破就要换策略换策略的过程中恢复质量会有明显波动。这是 GAN 的正常现象不是 bug但很多人在这里误以为模型不收敛就提前终止。解决在训练脚本里加入最佳模型保存逻辑不只看最后一个 epoch。每个 epoch 结束后在固定的验证集上算一次 PSNR/SSIM把最优指标的模型保存为best_generator.pth。最后使用时直接加载这个最优快照而不是加载最后一个 epoch 的参数。这是最简单也最实用的后悔药。5.4 加了内容损失后判别器 loss 降到 0但生成图像严重模糊现象内容损失权重调到 100 以上之后判别器 loss 急速下降趋近 0但生成图像变得非常模糊边缘全部丢失。原因λ 太高内容损失在总损失中占比过大梯度主要沿着 L1/L2 方向更新而 L1/L2 的最优解是模糊。判别器虽然还在输出“假”的判断但它的梯度被淹没在内容损失的梯度里了。解决观察两个损失的数量级。如果内容损失的数值比对抗损失大两个数量级以上需要对总损失做加权归一化把内容损失除以它的均值把对抗损失除以它的均值再按 λ 加权合并。不要直接加直接加的话数值大的一方的确会无视另一方。5.5 恢复图像出现块状伪影棋盘格效应现象恢复图的边缘区域出现规则的棋盘格纹路尤其在强梯度区域边缘、纹理最明显。原因转置卷积的步长重叠导致权重分布不均某些位置的像素被多个卷积核覆盖另一些位置覆盖不足形成规则周期性的色块。这在 DCGAN 中是经典问题图像尺寸越大越明显。解决三种常见做法任选其一。第一在转置卷积后接一个普通卷积层做平滑第二把转置卷积改为“上采样 普通卷积”即先用最近邻插值把尺寸放大一倍再用一个 kernel_size3、stride1 的卷积做特征融合第三种做法最省事且有效保持 DCGAN 原结构不动但在 loss 里加一个总变差正则项TV loss惩罚相邻像素之间的剧烈差异可以有效抑制棋盘格。TV loss 的实现如下def tv_loss(img): # img: batch x 3 x H x W batch_size, _, h, w img.shape diff_h torch.abs(img[:, :, 1:, :] - img[:, :, :-1, :]).mean() diff_w torch.abs(img[:, :, :, 1:] - img[:, :, :, :-1]).mean() return diff_h diff_w把tv_loss以 0.001 的权重加进生成器总损失里棋盘格现象会出现明显缓解。注意权重不要超过 0.01否则图像会被过度平滑。6. 恢复效果怎么验证FID、PSNR/SSIM 和人眼判断的取舍训练跑通了接下来是说服自己的工作——和说服合作方需要不同的话术。PSNR 和 SSIM 是图像恢复领域最常用的两个客观指标但它们和人类感知的相关性并不高尤其对 GAN 生成的结果来说一张模糊但色彩均匀的图可能 PSNR 很高一张锐利但细节有微小错位的图 PSNR 反而低。所以你需要三个指标一起看PSNR 负责约束像素级偏差、SSIM 负责衡量结构相似性、FID 负责评估分布级真实感。最后一个才是最有说服力的。FIDFréchet Inception Distance的计算方式把真实清晰图和恢复图分别输入 Inception-V3 网络提取倒数第二层的特征向量计算这两个特征分布之间的 Wasserstein 距离。FID 越低意味着恢复图在语义特征层面更接近真实图像分布。这对 GAN 类模型很重要——它能捕捉到“纹理是否真实、结构是否合理”这一类人类能感知但像素指标测不出来的特征。import torch from torchvision.models import inception_v3 from scipy.linalg import sqrtm import numpy as np def calculate_fid(real_loader, fake_loader, device): inception inception_v3(pretrainedTrue, transform_inputFalse).to(device) inception.eval() def get_features(loader): features [] with torch.no_grad(): for batch, _ in loader: batch torch.nn.functional.interpolate(batch, size(299, 299), modebilinear) batch (batch 1) / 2 # 从 [-1,1] 恢复到 [0,1] if batch.shape[1] 1: batch batch.repeat(1, 3, 1, 1) feat inception(batch) features.append(feat.cpu().numpy()) return np.concatenate(features, axis0) real_feat get_features(real_loader) fake_feat get_features(fake_loader) mu1, sigma1 real_feat.mean(axis0), np.cov(real_feat, rowvarFalse) mu2, sigma2 fake_feat.mean(axis0), np.cov(fake_feat, rowvarFalse) diff mu1 - mu2 cov_mean sqrtm(sigma1 sigma2) if np.iscomplexobj(cov_mean): cov_mean cov_mean.real fid diff.dot(diff) np.trace(sigma1 sigma2 - 2 * cov_mean) return fid这段代码的核心在最后几行FID 的计算分三部分均值差异的平方、协方差矩阵迹的差异、协方差交叉项。sqrtm是对协方差乘积做矩阵平方根如果结果是复数就取实部——浮点计算导致的数值噪声不影响量级判断。你的验证流程应该固定下来训练结束后跑 200 张测试图分别计算 PSNR、SSIM、FID再随机挑 5 组图原图/退化图/恢复图放到一张 grid 里肉眼对比。如果 FID 低但 PSNR 低说明生成器在“发挥创造力”——适合遮挡修复不适合去噪如果 PSNR 高但 FID 高说明恢复图过于平滑、缺乏纹理细节——适合做内容约束较重的任务不适合做真实感要求高的场景。最后一个进阶方向如果 64×64 的恢复分辨率不能满足需求别急着把 DCGAN 放大到 256×256——结构上可以直接升级为 SRGAN 或者 ESRGAN它们的生成器本质上是“DCGAN 残差块 感知损失”训练技巧一脉相承。你先在 DCGAN 上把数据流、训练循环、评估流程全部跑通再迁移到 SRGAN 上会发现迁移成本极低因为 DCGAN 是它们最小公共子集。我自己就是从 DCGAN 起步做图像修复的当时被棋盘格和模式崩塌来回折磨了两周回过头看这些坑反而让我理解了 GAN 训练的本质它不是一个优化问题而是一个平衡问题。希望这些经验能帮你少走我走过的弯路如果你按照上面的步骤跑通了记得把你的 FID 基线记下来——那才是真正属于你的起跑线。本文还有配套的精品资源点击获取