StyleGAN2 训练实操指南从单卡跑通到 8 卡提速【免费下载链接】stylegan2StyleGAN2 - Official TensorFlow Implementation项目地址: https://gitcode.com/gh_mirrors/st/stylegan2这篇文章带你用仓库里现成的run_training.py把一次完整的生成模型训练走一遍先在一块 GPU 上把 StyleGAN2 训练跑通再把显卡加到 8 张、把 69 天的工作量压到 9 天最后用 FID 这类指标判断模型到底行不行。全程给具体命令、具体数值和踩坑点不空谈。一、先跑通一块卡上的最小训练开跑前只有一个硬前提原始图片要先打包成 TFRecords官方用dataset_tool.py完成这一步python dataset_tool.py ./datasets/ffhq \ --source./datasets/ffhq_raw --res1024 --xfliptrue然后一条命令就能启动训练python run_training.py --num-gpus1 \ --data-dir./datasets --datasetffhq \ --configconfig-f --total-kimg1000 --metricsnone第一次跑建议--total-kimg1000、--metricsnone几十分钟就能看到生成结果不用一上来就吃默认值 25000 kimg相当于 2500 万张图的训练量。config 怎么选配置含义显存参考什么时候用config-a原版 StyleGAN 基线6.4GB复现论文对比实验config-e去掉渐进生长 新 G/D 架构8.6GB显存有限但想要 StyleGAN2 结构config-f在 e 基础上加大网络默认13.3GB正式训练优化器层面有四个值值得记住G 和 D 用的是同一套参数取值作用beta10.0关掉一阶动量配 R1 正则更稳beta20.99二阶矩衰减率epsilon1e-8Adam 的数值稳定项学习率0.002config-f/ 0.001config-a~dG、D 同值学习率和批次会随分辨率自动变config-a~d 走渐进生长progressive growing训练循环按当前分辨率查表逻辑在 training/training_loop.py 里学习率128px 用 0.0015256px 用 0.002512 和 1024 都用 0.003全局批次8px 时 25616px 时 12832px 时 6464px 及以上回到 32单卡批次8px 时 32逐档减半到 64px 的 4低分辨率阶段样本便宜就用大批次把前期快速拉满分辨率上去后批次自然收缩显存压力也跟着降下来。二、显存爆了批次大小与梯度累积怎么算默认全局批次 32、单卡批次 4。全局批次 单卡批次 × GPU 数 × 梯度累积步数拆开就是这张表GPU 数单卡批次全局批次梯度累积14328243244432284321显存紧张时把单卡批次从 4 降到 2代价是累积步数翻倍、总时长变长但全局批次仍是 32超参不用跟着改。反过来48GB 级的单卡把单卡批次提到 8~16 是划算的——累积步数少了吞吐直接上去。三、上多卡 数据并行与提速幅度--num-gpus只接受 1 / 2 / 4 / 8 四档。多卡本质是数据并行每块 GPU 放一份完整的 G 和 D 副本每步各吃一部分样本算出的梯度求平均后统一更新权重。官方在 FFHQ 1024 上的实测时间GPU 数所需时间相对 1 卡加速169 天 23 小时1x236 天 4 小时≈2x418 天 14 小时≈3.8x89 天 18 小时≈7.4x注意因为全局批次恒定在 32加卡不需要动学习率。只有当你主动把全局批次放大时才按 √(新批次/旧批次) 的比例上调学习率。四、训练不稳惰性正则化与监控读法惰性正则化R1 和路径长度正则很吃算力官方默认隔几步才算一次G 每 4 步做、D 每 16 步做config-a、b 直接关闭此功能。为了让优化器感知到这种稀疏学习率乘上 间隔/(间隔1)G 是 0.8D 约 0.94beta1、beta2 也做同样的幂缩放。效果是正则强度不变、每步开销大幅下降。R1 的权重 gamma 也分档config-a~d 是 10config-e/f 是 100。⚠️ 模式崩溃的典型信号D 对真实图和生成图的打分差越拉越大生成网格开始反复出同一张脸。这时先查学习率是否过大再看 gamma 是否太小。怎么读 tick 行里的 sec/kimg训练循环每处理tick_kimg就打印一行进度这个值同样按分辨率缩放8px 时 28 kimg1024px 时 4 kimg字段含义怎么看kimg已处理图像数千张应持续上涨sec/kimg每千张耗时基本平稳突然变差多半是数据 IO 瓶颈显存峰值GPU 内存水位贴着上限走没问题爆了就往回退单卡批次lod / minibatch当前层级与批次只随分辨率阶段变化损失侧的Loss/scores/real与Loss/scores/fake一正一负、缓慢移动是健康状态出现 NaN 直接停训回头查学习率。每 50 个 tick 会存一次网络快照和生成图网格方便随时回看质量变化。五、FID、IS、PPL三个指标各看什么验收环节由 metrics/ 提供--metrics默认就是fid50k也可以写fid50k,is50k,ppl_wend这样逗号分隔的多个指标测什么方向关键参数FID真实图与生成图各自取 Inception v3 特征拟合均值协方差后算两者的 Fréchet 距离越低越好50000 张每卡 batch 8IS生成图是否又清晰又多样越高越好50000 张10 次划分取均值PPL潜空间平滑度潜码挪 1e-4 的小步图像变化与距离的比值越低越好50000 样本可选 z 或 w 空间FID 数值多少算正常FID 没有跨数据集的绝对及格线同数据集、同规模内横向比较才有意义。参考官方曲线1024 分辨率下 FID 从 60 以上一路降到个位数8 卡跑满 9 天基本收敛到平台期。PPL 则专门回答潜空间能不能做插值和风格编辑——它应该稳定在一个较低平台上而不是持续漂移。六、硬件怎么配场景显卡显存备注试跑 / 复现调试1~2 张V100、3090 级≥16GB跑 config-a/e 足够正式 1024 训练4~8 张 A100≥32GB/卡config-f 峰值约 13.3GB再加高分辨率前向余量极限出图质量8 张 A100 80GB40GB 级在跑9 天 18 小时量级预算有限就单卡 config-e 小total-kimg起步跑通了再谈堆卡。改参数前先读一遍run_training.py的--help里面列了全部可用 config 和指标名比翻源码快。【免费下载链接】stylegan2StyleGAN2 - Official TensorFlow Implementation项目地址: https://gitcode.com/gh_mirrors/st/stylegan2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
)
