我是在某个深夜第一次把GAN跑通的。打印出来的生成器损失没有明显下降判别器损失也在一个看起来有点尴尬的区间里来回抖动可当我打开保存的图片文件夹看到那些模糊但已经具备数字轮廓的样本时才意识到自己一直在用训练普通分类模型的经验去理解这个框架——两者完全不是一回事。生成对抗网络GAN最反直觉的地方在于它的目标不是“损失越小越好”而是让两个网络在对抗中达到一种动态平衡。这篇文章想带你从头梳理GAN的原理用一个可以复跑的手写数字生成项目把整个训练流程拆开讲清楚再聊聊那些论文里很少写、但实际操作中一定会遇到的坑。无论你是刚接触生成模型的初学者还是被训练不收敛折腾过的开发者相信都能从中找到一些有用的东西。1. GAN解决的核心问题当传统生成模型力不从心时1.1 生成任务到底难在哪里从最大似然到隐变量在GAN出现之前生成式模型的核心思路基本绕不开最大似然估计假设真实数据服从某个参数化的分布P(x|θ)我们希望通过调整θ让这个分布尽可能接近真实数据分布P_data(x)。问题在于真实世界的数据图片、语音、文本分布极度复杂你很难用一个简单的参数形式去描述它。高斯混合模型能生成一些形状简单的点云但要生成一张有意义的猫脸你需要的是一个高维、多模态、局部细节极其丰富的分布传统参数模型在这里直接失效。另一条技术路线是隐变量模型比如变分自编码器VAE。它假设数据x由某个低维隐变量z通过解码器生成训练时让编码器把x压缩成z再让解码器从z重建x。这种方法的优点是训练稳定、目标函数明确但生成的样本倾向于“模糊”。原因也很简单VAE优化的是重建误差的下界模型在重建时会对所有可能的细节取平均于是头发、纹理、锐利边缘都被磨平了。GAN换了一个完全不同的思路不直接建模P(x)而是让一个生成网络G从噪声z中直接生成样本同时训练一个判别网络D去区分真实样本和生成样本。G不需要知道真实分布长什么样只需要不断尝试骗过DD则不断升级自己的鉴别能力。两者互相促进直到G生成的样本让D无法判断真假。如果你第一次接触这个设定会觉得它像一场猫鼠游戏。但关键是这种对抗机制绕开了“直接计算密度”的难题——你不需要写出P(x)的解析式只需要能够“生成像的样本”和“判断像不像”。这在工程上是一个巨大的解放也是GAN能在图像生成、风格迁移、数据增强等领域迅速铺开的原因。1.2 对抗训练的思路造假者与鉴定师的较劲要直观理解GAN我喜欢用一个类比造假者与鉴定师。造假者G的目标是制作足以乱真的赝品鉴定师D的目标是准确辨别真品与赝品。一开始G做出来的东西粗糙至极D一眼就能看穿。但每次G的作品被识破它就会根据反馈调整工艺每次D成功识破它也会变得更敏锐。经过成千上万轮博弈G的手艺越来越好D的眼力也越来越好。最理想的情况是G的作品与真品完全无法区分D的判断准确率只剩50%跟抛硬币一样——这就是对抗训练的理想终点。放到数学框架里G对应生成器D对应判别器。G的输入是随机噪声向量z输出是伪造样本G(z)D的输入是真实样本x或伪造样本G(z)输出一个介于0到1之间的置信度表示输入为真的概率。训练过程就是反复执行两个子任务一是固定G训练D让它尽量区分真实样本与伪造样本二是固定D训练G让它生成的样本在D眼里越来越像真的。这里面有个特别容易忽略的细节D和G并不是分阶段训练的而是每一轮迭代里同时更新两边参数。因此训练过程天然是一个动态博弈你追我赶。很多初学者把GAN训练理解成“先练好D再练好G”实际做出来效果很差原因就在这里——D太强会让G的梯度消失D太弱会让G失去学习信号双方的强度必须像天平的两端一样动态调整。2. 极小极大博弈与损失函数把“对抗”翻译成数学2.1 价值函数V(D,G)的直观拆解GAN的原始论文里给出了一个极为简洁的目标函数min_G max_D V(D,G) E_{x∼P_data}[log D(x)] E_{z∼P_z}[log(1 − D(G(z)))]看到min max别慌把它拆成两层来看。先看max D这一层D希望自己的判别能力最强。对于真实样本xD(x)要尽量接近1所以log D(x)尽量大对于伪造样本G(z)D(G(z))要尽量接近0所以log(1 − D(G(z)))也尽量大。合起来就是最大化V。再看min G这一层G希望自己生成的样本骗过D也就是让D(G(z))尽量接近1等价于让log(1 − D(G(z)))尽量小。所以G要最小化V里与自身相关的部分。实际操作中D的损失通常不是直接写成这个期望形式而是用二分类交叉熵来实现真实样本标签为1伪造样本标签为0然后计算D(x)与1的交叉熵、D(G(z))与0的交叉熵两者取平均。G的损失则是把伪造样本的标签当作1计算D(G(z))与1的交叉熵。正是这种“把标签颠倒一下”的实现方式构成了对抗训练的整个逻辑。你不需要设计复杂的损失函数只需要两个二分类交叉熵就能让两个网络形成你追我赶的闭环。2.2 最优判别器与梯度消失JS散度的局限性理论推导告诉我们当D被训练到最优时任意一个数据点的最优判别概率为D*(x) P_data(x) / (P_data(x) P_g(x))其中P_g是生成样本的分布。代入目标函数可以证明在D最优的情况下整个对抗目标等价于最小化P_data和P_g之间的JS散度再加上一个常数。JS散度衡量两个分布之间的距离当两个分布完全一致时散度为0。问题在于JS散度有一个很麻烦的特性当两个分布的重叠区域几乎为零时散度固定等于log2不会随着两个分布的实际距离变大而继续增加。这意味着在GAN训练初期P_g和P_data往往几乎没有重叠G收到的是一个恒定大小的梯度它不知道该往哪个方向调整于是梯度消失生成器停止进步。这就是为什么你在跑早期GAN时经常能看到一个诡异的现象D的损失特别低准确率几乎100%但G的损失始终卡在同一个值附近生成的样本是不是眼熟D太强了把路堵死了。后来WGAN的提出本质上就是换掉了JS散度这个度量工具改用Wasserstein距离来保证梯度始终存在这我们后面再讲。2.3 从饱和损失到非饱和损失一个关键的工程调整原始论文里G的目标是最小化log(1 − D(G(z)))。从优化角度看当D已经能轻松识破G时D(G(z))接近0log(1 − D(G(z)))也接近0梯度接近于无。这让早期训练变得极其缓慢。作者很快发现这个问题提出了一个看似偷懒、实际非常有效的改法G不再最小化log(1 − D(G(z)))而是最大化log D(G(z))。用交叉熵的视角来看就是让G把伪造样本的标签当成1去优化。之所以叫“非饱和”是因为当D(G(z))接近0时log D(G(z))的梯度会变得很大给G提供强烈的更新信号——即使D很强G也能从失败中高效地汲取教训。这个改动在实现层面极其容易构造G的损失时把“真实标签”填成1即可。现在的几乎所有GAN实现都在用这个版本。虽然它的理论分析比饱和版本复杂一些但工程上的收益是立竿见影的尤其是训练初期的生成器总算能动了。3. 从零搭建一个GAN以手写数字生成为例的完整实现3.1 数据准备与生成目标理论讲完动手写一个最简单的GAN。目标是从MNIST手写数字数据集中学会生成看起来像样的数字图片。我选择MNIST而非复杂的自然图像数据集是因为它尺寸小28×28灰度图、模式简单、训练速度快非常适合用来验证网络结构和调试超参数。你在一张普通显卡上几分钟就能看到效果这对理解对抗训练的节奏非常有帮助。数据集处理有一个关键细节要把像素值从[0, 255]归一化到[-1, 1]生成器最后一层用tanh激活输出范围正好也是[-1, 1]。这样做能让生成器输出的数值范围与真实数据保持一致避免因为范围不匹配导致判别器在训练初期直接躺赢。随机噪声向量z的维度我习惯设为100服从标准正态分布。维度太低可能限制生成样本的多样性太高又会增加生成器的负担。100不需要精确调优是一个在稳定性和多样性之间比较均衡的常用值。3.2 生成器与判别器的网络设计细节对于MNIST这种简单数据不需要上卷积全连接网络就足够跑通。我把生成器设计成一个简单的多层感知机import torch import torch.nn as nn class Generator(nn.Module): def __init__(self, latent_dim100, img_dim784): super().__init__() self.fc nn.Sequential( nn.Linear(latent_dim, 256), nn.ReLU(inplaceTrue), nn.Linear(256, 512), nn.ReLU(inplaceTrue), nn.Linear(512, 1024), nn.ReLU(inplaceTrue), nn.Linear(1024, img_dim), nn.Tanh() ) def forward(self, z): return self.fc(z)判别器接收一个784维的向量输出一个标量表示“真实性”。这里有两个容易被新手忽略的设置第一判别器内部的激活函数用LeakyReLU而不是ReLU负斜率设置0.2目的是避免生成样本分布中大量负值区域让ReLU直接失活第二最后一层不要接softmax二维输出的判别器直接用sigmoid做二分类即可。class Discriminator(nn.Module): def __init__(self, img_dim784): super().__init__() self.fc nn.Sequential( nn.Linear(img_dim, 1024), nn.LeakyReLU(0.2, inplaceTrue), nn.Linear(1024, 512), nn.LeakyReLU(0.2, inplaceTrue), nn.Linear(512, 256), nn.LeakyReLU(0.2, inplaceTrue), nn.Linear(256, 1), nn.Sigmoid() ) def forward(self, x): return self.fc(x)生成器的层间维度从100逐步扩大到1024目的是让噪声在投影到高维空间后获得足够的表达能力判别器则反过来逐步压缩最终聚合到一个标量。这种对称的漏斗结构是全连接GAN的经典设计稳定且容易排查问题。3.3 训练循环、损失计算与超参选择的理由训练循环是GAN的精髓所在。每一步迭代里我先采样一批真实数据再从噪声分布里采样一批假数据分别计算判别器的损失并更新D参数然后再次采样新噪声计算生成器损失并更新G参数。这里有个经验D和G的更新次数比通常设为1比1只有在D明显过强时才调高G的更新频率。import torch.optim as optim from torch.utils.data import DataLoader from torchvision import datasets, transforms batch_size 128 lr 0.0002 latent_dim 100 transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize([0.5], [0.5]) ]) dataset datasets.MNIST(root./data, trainTrue, transformtransform, downloadTrue) dataloader DataLoader(dataset, batch_sizebatch_size, shuffleTrue) device torch.device(cuda if torch.cuda.is_available() else cpu) G Generator(latent_dim).to(device) D Discriminator().to(device) criterion nn.BCELoss() opt_G optim.Adam(G.parameters(), lrlr, betas(0.5, 0.999)) opt_D optim.Adam(D.parameters(), lrlr, betas(0.5, 0.999)) def denorm(x): return x * 0.5 0.5 for epoch in range(50): for i, (real_imgs, _) in enumerate(dataloader): real_imgs real_imgs.view(-1, 784).to(device) batch_size real_imgs.size(0) # 训练判别器 z torch.randn(batch_size, latent_dim).to(device) fake_imgs G(z) fake_pred D(fake_imgs.detach()) real_pred D(real_imgs) d_loss criterion(real_pred, torch.ones_like(real_pred)) criterion(fake_pred, torch.zeros_like(fake_pred)) opt_D.zero_grad() d_loss.backward() opt_D.step() # 训练生成器 z torch.randn(batch_size, latent_dim).to(device) fake_imgs G(z) fake_pred D(fake_imgs) g_loss criterion(fake_pred, torch.ones_like(fake_pred)) opt_G.zero_grad() g_loss.backward() opt_G.step() if i % 200 0: print(fEpoch [{epoch}] Batch [{i}] D_loss: {d_loss.item():.4f}, G_loss: {g_loss.item():.4f})训练超参数值得好好解释一下。学习率0.0002是GAN社区里被反复验证过的“甜点区”数值比普通分类任务常用的0.001更低目的是让两边的博弈节奏更慢、更可控。Adam优化器里的betas参数我特意设为(0.5, 0.999)而不是默认的(0.9, 0.999)这是因为0.5的动量系数能避免训练早期梯度过大导致震荡。这些都是原版DCGAN论文中沉淀下来的经验直接抄作业即可不需要自己从头验证。此外每训练5个epoch我会固定采样一组相同的噪声向量喂给G把生成的图片保存下来。固定噪声很重要——这样每次保存的图片是同一批“种子”生成的你才能直观看到同一个样本如何从噪声逐步变成数字而不是每次看到一批互不相关的随机结果。4. 训练GAN的真实战场收敛判断、模式崩溃与调试技巧4.1 模型不收敛或震荡先看这两个数GAN训练里最经典的问题就是不收敛。损失来回震荡、生成的图片忽好忽坏这种情况我至少遇到几十次。相比CNN训练中“loss稳步下降”的清晰信号GAN的loss参考价值要隐晦得多。我的经验是先盯两个数判别器对真实样本的平均预测值和对伪造样本的平均预测值。理论上在理想平衡点两者都应该接近0.5。如果真实样本预测值一直逼近1.0伪造样本预测值一直逼近0.0说明D完全碾压了GG的梯度基本是废的——这是梯度消失的典型信号。反之如果D在真实样本上的预测值都站不稳甚至低于0.5说明D已经彻底被骗晕了它会向G传递错误信号导致训练发散。如果你看到D loss长期高于1.5或者干净利落地跌到0.1以下都可以视为异常。我之前踩过最典型的坑是训练到第10个epoch时D loss稳定收敛到0.05当时还以为模型状态极佳结果保存的生成图片全是一团噪声。后来才明白此时D对假样本的判别概率已接近0G几乎收不到任何有效梯度整个系统已经“假性收敛”了。4.2 模式崩溃生成样本越来越重复的一大主因模式崩溃是GAN另一个高频问题。现象很明确生成器找到了某个能稳定骗过D的“捷径样本”于是无论输入什么噪声都只会输出同一类图片。比如用MNIST训练时生成器可能只学会画数字“1”D怎么更新都无法把它逼离这个区域。因为对D来说只要生成样本整体看起来像数字单独一张“1”与真实数字“1”的差异并不大G就赖在这个舒适区不出来。处理模式崩溃没有统一银弹但有几种手段可以明显缓解。一是增大生成器的输入噪声维度让模型更难把不同噪声映射到同一输出二是用小批量判别mini-batch discrimination让D看到同一批次内多个样本的统计特征可以识别出“一整批都长得一样”的异常三是在损失函数上做文章WGAN和WGAN-GP的Wasserstein距离天然对模式崩溃有更强的抑制能力。从工程角度说最简单的第一步是把噪声维度从100提高到256并适当降低D的学习率很多时候就能延缓崩溃。模式崩溃的检测方式也有讲究。我在训练时每隔固定轮次做一次“噪声多样性测试”随机采样100个噪声向量喂给G生成100张图然后把它们缩略拼图。如果这100张图里大部分彼此雷同哪怕整体看起来都像数字也说明模型已经进入崩溃状态。这个检查比盯loss数字直观得多建议养成习惯。4.3 判别器过强标签平滑、噪声与网络设计的补偿判别器过强是训练不收敛最普遍的原因之一。判别器收敛速度快于生成器于是迅速学会了100%准确区分真实与伪造样本生成器被逼到死角。应对手段很多我按优先级排一下顺序。第一个手段是标签平滑。不要把真实标签写成1而是写成0.9把假的标签写成0.1甚至0。这样D永远不会把信心打到顶点留出的空间让G有喘息机会。实践效果立竿见影训练稳定性提升非常显著。第二个手段是给真实样本与生成样本的输入加适量高斯噪声。D一开始学到的判别特征可能过于“精细”一些噪声的引入能强迫它关注更宏观的结构特征防止过早过拟合到训练数据的局部细节。这个技巧尤其适合输入尺寸较小、信息量有限的数据集。第三个手段是网络层面控制。给D增加dropout降低D的网络容量比如减少隐藏层宽度或者调低D的学习率让D的更新速度略慢于G。终极手段是让D先暂停几步更新、让G连续更新若干轮但这种做法在实践中很难拿捏节奏建议只在其他手段都无效时再尝试。我的调参顺序通常是先加标签平滑再调低D的学习率最后再考虑改网络结构。千万不要一开始就同时上多手段否则你根本不知道是哪个改动起了作用。4.4 我的踩坑记录表症状、原因与解决手段结合自己多次跑坏模型的经验我整理了下面这张排查表基本覆盖了我在MNIST和其他简单数据集上遇到过的异常情况。现象可能原因优先处理手段D loss极低且不回升D过强G失去梯度标签平滑 降低D学习率G loss长期不变梯度消失G无法学习换非饱和损失 检查D是否过强生成样本全是同一类模式崩溃增大噪声维度 加噪声输入生成图片全黑或全白输出层激活值饱和检查tanh输入范围是否匹配图片越来越模糊D能力不足G没有强监督增大D容量 增强D学习率训练后期图像细节抖动但整体稳定判别器与生成器动态平衡属于正常现象无需干预这张表看起来简洁背后每一项我都实际踩通过。印象最深的是“全黑图片”那次我忘了把输入数据归一化到[-1,1]就交给D导致真实样本的分布与生成器的tanh输出范围完全不匹配D很快找到了一个粗暴的判别捷径——像素值接近0的就是假图于是G只能把输出压到全黑来减少损失。这类低级错误如果不从数据范围入手排查改网络结构改到天亮也没用。5. 从经典GAN到现代变体为什么改、改了什么5.1 DCGAN把卷积和批归一化带进来原始全连接GAN虽然在MNIST上能跑但图片尺寸一大就力不从心。全连接层参数量爆炸、局部空间结构建模能力弱直接用去生成高清图片基本不可能。DCGAN的核心改动是把卷积层引入生成器和判别器生成器用转置卷积把低分辨率特征逐步上采样到图像尺寸判别器用带步长的卷积逐步下采样。DCGAN还有几个广为流传的工程经验在生成器和判别器中大量使用批归一化层让每层输入分布更稳定生成器输出层用tanh其余层用ReLU判别器所有层用LeakyReLU。这些细节被后续无数项目证明有效是GAN工程化的重要里程碑。批归一化的作用值得多说一句。它的本质是把每层激活值拉回到均值0、方差1附近避免梯度在深层网络中爆炸或消失。在GAN语境里它的另一层意义是让D和G的比拼更“公平”——两边都经过规范化处理不会因为某一方网络内部数值不稳定而产生单方面碾压。5.2 WGAN与WGAN-GP用Wasserstein距离稳住训练WGAN是我认为理解GAN演进最重要的一站。它彻底放弃了D输出sigmoid后的二分类逻辑而是让D变成一个“批评者”输出一个没有上下界的实数衡量真实样本与生成样本之间的Wasserstein距离也叫推土机距离。生成器的目标是让批评者对真实样本的评分与对生成样本的评分尽量接近。这个改动的直接好处是即便P_g与P_data没有重叠Wasserstein距离依然能提供有意义的梯度。梯度消失问题从根上缓解了训练过程中的损失曲线也比标准GAN更有指向性——它不再围绕某个值震荡而是单调下降后趋于平稳这给了工程师一个清晰可读的收敛信号。原始的WGAN为了保证批评者满足Lipschitz约束使用权重裁剪但裁剪范围设置稍有不慎就会导致梯度消失或梯度爆炸。WGAN-GP用梯度惩罚替代权重裁剪在目标函数中加入一项对批评者梯度范数的约束控制参数为10。这样一来约束更平滑训练也更稳定。如果让我给新手推荐一个“开箱即用”的生成模型我会推荐WGAN-GP。5.3 条件GAN与可控生成给生成器加一个条件输入经典GAN只能生成随机的样本你无法控制它生成“数字7”还是“数字9”。条件GAN解决了这个问题把类别标签或属性向量作为额外输入同时喂给生成器和判别器。生成器的输入从单纯的噪声z变成(噪声, 条件)的组合判别器不仅要判断样本是否真实还要判断样本是否符合给定的条件。条件GAN的实现改动很小训练逻辑完全不变但带来的能力扩展非常大。它可以用来做指定风格的图像生成、文本到图像的合成、图像翻译等任务。许多实际商业项目里纯随机生成没有价值可控生成才是刚需条件GAN就是这种可控性的地基。工程上有一个拼接技巧条件和噪声在送进网络前拼成一个向量。条件如果是类别标签可以用embedding层先转成稠密向量如果是属性值直接归一化后拼接即可。拼接位置没有统一标准我在实践中发现拼接在生成器的输入层效果通常不错判别器那边则可以把条件拼到中间层以保留更丰富的特征交互。5.4 评估生成质量IS与FID不看不行训练GAN时光看生成的样本图片做主观评价很容易翻车。一张图片看着还行但整个数据分布可能与真实分布相差甚远或者多样性严重不足。IS和FID是行业里最常用的两个定量评估指标。ISInception Score利用预训练分类网络对生成图片进行分类既看单张图片的置信度清晰度又看所有图片的类别分布是否分散多样性。但IS也有一些短板只评估生成样本、不参照真实分布对于类别间重叠严重的图片可能给出误导性分数。FID则更进一步把真实样本与生成样本都送入预训练网络提取高层特征计算这两个特征分布之间的弗里歇距离数值越低越好。FID数值受训练集规模影响较大所以在小数据集上参考价值有限但在成熟数据集上稳定性远高于IS。我个人每周都会批量生成一批固定数量的图片计算FID并记录在训练日志里。如果FID下降但肉眼观感没跟上我会怀疑预训练特征更关注的内容我还没看到如果肉眼觉得挺好但FID居高不下通常意味着生成图片的局部纹理或背景细节仍然有偏差。两者结合来看比单看主观感觉可靠多了。6. GAN的实际应用边界能做什么、别硬做什么6.1 真正落地的几个方向把GAN从玩具引向真实业务目前能看到明确落地的方向主要集中在以下几个方面。一是图像增强与超分辨率。低分辨率图像或视频经过GAN生成器处理后能得到视觉上更清晰、纹理更真实的高分辨率版本。这里的核心不是让画面变得“锐利”而是让模型“想象”出细节GAN恰恰擅长这种基于上下文的细节补全。二是数据增强。在很多工业场景中真实数据稀缺且标注昂贵。GAN可以基于少量真实样本生成大量风格相似的新样本扩充训练集。做这个方向时要注意生成样本的分布偏移如果过大会让下游模型学到不真实的特征所以生成之后最好做一轮质量筛选甚至只用生成样本做预训练再用真实样本微调。三是风格迁移。从照片到名画风格、从白昼到夜景、从夏天到冬天这类任务本质上是把图像从一个域转换到另一个域。CycleGAN等变体甚至可以在没有成对训练数据的情况下完成转换在影视、设计、游戏美术等行业有广泛应用。做这类项目时为保底语义内容不丢通常在损失函数里额外加入循环一致性损失或感知损失。6.2 落地时的工程问题推理、部署与稳定性的提醒把训练好的GAN模型部署到生产环境时有几个容易被忽略但实际很要命的点。推理阶段要记得把生成器切换到评估模式关闭dropout和批归一化的训练行为。批归一化层在训练和推理时的行为差异很大不少项目辛辛苦苦训练出来的模型在部署后第一周收到“生成结果全是噪声”的反馈排查到最后就是忘了调model.eval()。输入噪声z的采样分布必须与训练时保持一致。我在生产环境里见过有人用均匀分布噪声代替高斯分布噪声做推理结果生成的图像风格与训练时发生肉眼可见的偏移。这个错误低级但异常隐蔽因为代码不会报错只会在输出层面悄悄劣化。选型上也要务实。如果业务场景对随机探索容忍度较低或者对可解释性有要求GAN可能并不是唯一解。扩散模型近年来在生成质量上已经超过GAN但推理速度慢、计算成本高VAE虽然样本偏模糊但训练稳定、推理快。做技术选型时应当把质量、成本、稳定性和可维护性放在一张表里打分而不是谁新选谁。6.3 一个务实的建议不是所有生成任务都必须用GAN最后分享一个可能稍微逆耳的结论不是所有生成任务都值得上GAN。如果你只需要生成一批模糊但类别分布正确的样本用于数据增强VAE的稳定性和速度可能更合适如果你追求极致的图片质量和细节真实感而且算力充足可以看看扩散模型。GAN的优势区间在于训练成本可控、生成速度快、条件控制灵活以及它那套对抗训练框架本身带来的建模能力。这也符合我一路使用各种生成模型下来的体会。技术选型从来不是追新而是把问题的约束条件列清楚选出在质量、成本、稳定性之间最平衡的方案。理解GAN的原理不只是为了用GAN——它会让你对“生成”这件事的理解上一个台阶也会帮你在面对其他生成模型时更快抓住关键设计点。我在实际项目中始终把GAN当成一个需要耐心伺候的模型。先花半小时确认数据归一化没问题再确认D和G的学习率与优化器参数然后跑50个epoch观察固定噪声生成图的变化趋势。如果20个epoch后生成样本还很混乱不要急着改网络结构先检查D是否过强、G是否还有梯度。等基础版本稳定跑通之后再慢慢把标签平滑、噪声输入、批次判别这些技巧逐个加上去。如果你正在学GAN建议先把最简单的全连接版本跑通把对抗训练的节奏彻底摸透再碰DCGAN、WGAN这些进阶版本。磨刀不误砍柴工这比直接上复杂模型、把训练失败归结为运气要靠谱得多。
