StyleGAN 技术脉络：从风格空间到无混叠生成

StyleGAN 技术脉络从风格空间到无混叠生成StyleGAN 最有意思的地方不是它能生成多漂亮的人脸。真正改变后续工作的是它把 GAN 生成器从一个黑箱卷积网络拆成了几个可以讨论、可以控制、也可以诊断的部件映射网络、风格调制、逐层噪声、权重去调制、ADA以及后来的 alias-free 设计。如果只把 StyleGAN 当作“高清人脸生成模型”会漏掉它最核心的贡献。它把“潜变量怎么进入生成器”这件事重新设计了一遍。传统 GAN 通常把zzz喂进网络开头然后让卷积层一路把它变成图像StyleGAN 先把zzz映射到中间空间WWW再让WWW逐层控制合成网络。这个小改动带来的影响很大属性编辑、风格混合、图像反演、少样本微调、视频一致性后面很多工作都绕不开这条线。下面按技术演化讲 StyleGAN而不是按论文摘要复述。读完应该能回答三个问题StyleGAN 到底把“风格”放在了哪里StyleGAN2 为什么要删掉 AdaINStyleGAN3 为什么突然开始谈信号处理和混叠。一条主线把潜变量从输入改成逐层控制信号最早的 StyleGAN 论文《A Style-Based Generator Architecture for Generative Adversarial Networks》借用了风格迁移里的 AdaIN 思路。它没有大改判别器也没有提出新的 GAN loss而是重写生成器z → mapping network f → w ↓ constant input → synthesis network g → image ↑ ↑ ↑ style style noise这里的zzz是输入 latent codefff是一个 8 层 MLP把zzz映射到w∈Ww \in Ww∈W。合成网络不再从zzz开始而是从一个 learned constant 开始逐步上采样。每一层卷积之后www经过 learned affine transform 变成该层的 style 参数再用 AdaIN 调制特征图。AdaIN 可以写成AdaIN(xi,y)ys,ixi−μ(xi)σ(xi)yb,i \mathrm{AdaIN}(x_i, y) y_{s,i}\frac{x_i - \mu(x_i)}{\sigma(x_i)} y_{b,i}AdaIN(xi​,y)ys,i​σ(xi​)xi​−μ(xi​)​yb,i​其中xix_ixi​是第iii个通道的特征图ysy_sys​和yby_byb​来自www的仿射变换。直觉上它先把通道统计量归一化再用当前样本自己的 style 参数把均值和方差设回去。这样www不是被塞进网络开头而是变成每个分辨率层的控制旋钮。这解释了 StyleGAN 的“风格混合”为什么有效。低分辨率层更影响姿态、脸型、整体布局高分辨率层更影响皮肤纹理、头发细节、颜色微结构。把两个 latent 的 style 在某个分辨率处分段替换就能得到比较自然的属性拼接。论文还引入 perceptual path length 和 linear separability 来衡量插值平滑性与解耦性而不是只看 FID。另一个容易被低估的设计是逐层噪声。StyleGAN 给每个卷积层注入独立高斯噪声并让网络学习每个通道的缩放系数。这个噪声主要控制随机微结构雀斑、发丝、毛孔、背景小纹理。它不太应该改变身份或姿态。也就是说StyleGAN 把生成因素拆成了两类www负责相对稳定、可编辑的语义属性noise 负责无法精确预测的随机细节。StyleGAN1 的问题AdaIN 也给了网络钻空子的机会StyleGAN1 的图像质量很强但它有一类典型 artifact水滴状、斑点状的局部异常。StyleGAN2 论文《Analyzing and Improving the Image Quality of StyleGAN》做的第一件事就是追这个问题的来源。关键观察是instance normalization 会擦掉特征图的整体幅度信息。生成器如果想把某些幅度信息传给下一层就可能制造局部极大的激活尖峰让这些尖峰在归一化统计中占主导。结果就是图像里出现像“水滴”的异常纹理。这个解释很漂亮因为它不是说“网络不够大”或“训练不稳定”而是指出了归一化本身改变了信息流。StyleGAN2 的修正是把 AdaIN 改成 weight modulation / demodulation。它不再先卷积、再对 feature 做 AdaIN而是让 style 去调制卷积权重。简化地说对每个样本和每一层stylesis_isi​会缩放输入通道对应的卷积权重wijk′si⋅wijk w_{ijk} s_i \cdot w_{ijk}wijk′​si​⋅wijk​但只做 modulation 会让输出特征的方差不稳定于是再做 demodulationwijk′′wijk′∑i,k(wijk′)2ϵ w_{ijk} \frac{w_{ijk}}{\sqrt{\sum_{i,k} (w_{ijk})^2 \epsilon}}wijk′′​∑i,k​(wijk′​)2ϵ​wijk′​​这一步保留了“style 控制每层”的核心思想同时避免用 instance normalization 去强行重置 feature statistics。StyleGAN2 论文报告在 FFHQ 1024×1024 上baseline StyleGAN 的 FID 为 4.40加入 weight demodulation、大幅调整 progressive growing、path length regularization 和更大网络之后StyleGAN2 配置达到 2.84在 LSUN Car 512×384 上对应 FID 从 3.27 到 2.32。数字不只是更低它说明 artifact 修复并没有靠牺牲分布质量换来。StyleGAN2 还重新审视了 progressive growing。Progressive GAN 和 StyleGAN1 都用过逐步提高分辨率的训练策略先训低分辨率再逐渐加入高分辨率层。这个策略能让早期训练稳定但也会留下“相位”和层级之间的痕迹。StyleGAN2 倾向于使用固定网络结构训练通过更好的 normalization、regularization 和残差式判别器解决稳定性而不是让网络结构在训练中变化。这里还有一个对实际应用很重要的结果path length regularization 让生成器更容易反演。反演就是给定一张真实图像找一个 latent code 让生成器重建它。StyleGAN 生态里大量编辑工具都依赖 inversion如果 latent 到图像的映射局部尺度太乱优化会变难编辑也会变脏。StyleGAN2 把这个问题往前推了一步。ADA 解决的不是画质而是数据量StyleGAN2 很强但它仍然是大数据模型。GAN 在小数据上最容易出的问题是判别器过拟合判别器很快记住训练集生成器拿不到有用梯度训练开始漂。StyleGAN2-ADA 论文《Training Generative Adversarial Networks with Limited Data》把问题直接放在判别器上处理。普通数据增强对 GAN 不总是安全。判别器看到增强后的真实图像生成器也会被迫生成“带增强痕迹”的图像这就是 augmentation leakage。ADA 的目标是让增强帮助判别器泛化但不要把增强变成生成分布的一部分。它的做法是自适应调节增强概率ppp。训练过程中监控判别器对真实图像的符号统计量如果判别器开始过拟合就增大增强强度如果还没有明显过拟合就降低或保持增强。增强管线本身包括几何、颜色、滤波和 corruption 等多类变换并且在 GPU 上可微实现。这篇论文的实用价值很高。作者报告用几千张训练图像也能得到可用结果很多情况下用少一个数量级的数据接近 StyleGAN2 的效果在 CIFAR-10 上论文把当时记录 FID 从 5.59 降到 2.42。官方 PyTorch 版 README 也强调它是 TensorFlow 版 StyleGAN2-ADA 的 faithful reimplementation并在 NVIDIA Tesla V100 上训练通常快 5% 到 30%高分辨率推理最高快 35%。如果你真的要训练自己的 StyleGAN今天更常见的入口也是 StyleGAN2-ADA PyTorch。最基本的训练命令长这样python dataset_tool.py--source/path/to/images--dest~/datasets/mydataset.zip python train.py\--outdir~/training-runs\--data~/datasets/mydataset.zip\--gpus1\--dry-run python train.py\--outdir~/training-runs\--data~/datasets/mydataset.zip\--gpus1--dry-run值得先跑一次它会打印训练配置并检查参数。训练过程中会保存network-snapshot-INT.pkl、样例图和 metric 日志。常用指标包括fid50k_full、kid50k_full、pr50k3_full和 perceptual path length。CSDN 上很多复现实验失败不是因为模型写错而是数据 zip 格式、分辨率、镜像增强、batch 和 gamma 没对齐。StyleGAN3 的问题更底层细节被粘在像素坐标上StyleGAN3 的论文题目叫《Alias-Free Generative Adversarial Networks》。这不是常见的“加模块提升指标”论文它讨论的是生成器的信号处理问题。作者观察到典型卷积生成器虽然看起来是层级合成但内部过程会不健康地依赖绝对像素坐标。现象是图像里的细节像是粘在屏幕坐标上而不是粘在物体表面。做人脸插值或视频生成时尤其明显头部在动但毛孔、发丝纹理、局部噪声的运动不完全跟着面部几何走。StyleGAN3 把根因追到 aliasing。生成器里有上采样、非线性、卷积、下采样。如果把特征图当作连续信号的离散采样那么点态非线性会制造更高频率如果这些频率没有在重新采样前被正确低通滤掉就会折叠回低频泄漏出与采样网格相关的信息。网络学会利用这些泄漏信息就会把细节绑定到像素坐标。它的改法包括把网络信号解释为连续域信号在上采样、非线性和下采样之间加入更严格的低通滤波使用 Fourier features 提供输入坐标去掉一些会破坏等变性的设计提供 StyleGAN3-T 和 StyleGAN3-R 两类配置分别偏向平移等变和平移加旋转等变。官方 README 也把 equivariance metrics 作为新工具列出来包括eqt50k_int、eqt50k_frac和eqr50k。论文在 FFHQ-U 256×256 的配置实验中报告StyleGAN2 baseline FID 为 5.14StyleGAN3-T 为 4.62EQ-T 达到 63.01 dBStyleGAN3-R 为 4.50EQ-T 为 66.65 dBEQ-R 为 40.48 dB。FID 没有发生夸张跳跃重点在内部表示和运动一致性。换句话说StyleGAN3 的价值不主要体现在静态图像排行榜而体现在动画、视频和需要稳定几何绑定的编辑场景。这也解释了为什么很多只做单张图像生成的人对 StyleGAN3 的体感提升不如 StyleGAN2 明显。StyleGAN3 修的是“连续变化时细节应该怎么动”。如果任务只看一张静态图FID 可以相近如果看插值视频差异会变得肉眼可见。四代设计可以放在一张表里看版本主要问题核心改动更适合的场景StyleGAN传统 GAN latent 控制太粗Z→WZ \to WZ→W映射网络、逐层 AdaIN、逐层噪声可控人脸生成、风格混合、latent 编辑StyleGAN2AdaIN/渐进训练带来 artifact 和反演困难权重 modulation/demodulation、path length regularization、固定结构训练高质量静态图生成、图像反演、编辑StyleGAN2-ADA小数据训练时判别器过拟合自适应判别器增强动态调节增强概率少样本数据集、迁移训练、个人数据集生成StyleGAN3细节绑定到像素坐标运动不自然alias-free generator、连续信号视角、等变指标视频、动画、连续插值、需要几何稳定的生成这张表也能帮助判断该用哪个版本。想做静态头像生成或图片编辑StyleGAN2-ADA 往往是最稳的起点想研究插值视频、动态头像或运动一致性StyleGAN3 更值得看想理解 latent editing 的源头必须读 StyleGAN1 的WWW空间和 style mixing。实现细节里最容易踩的坑第一WWW空间不是魔法。它更解耦是因为 mapping network 允许输入分布被重新弯折让合成网络看到一个更适合控制的中间空间。但这不保证每个方向都有干净语义。很多所谓“年龄方向”“微笑方向”仍然依赖数据集偏差和线性近似。第二truncation trick 会改善平均观感也会降低多样性。StyleGAN 常用w′wˉψ(w−wˉ)w \bar{w} \psi(w - \bar{w})w′wˉψ(w−wˉ)把 latent 拉向均值。ψ\psiψ小的时候人脸更“安全”、更像训练集中心区域但少数族裔、极端姿态、罕见配饰等尾部分布可能被压掉。做数据生成时不能只看样例图漂亮。第三FID 不是万能指标。StyleGAN3 就是典型例子它可以在 FID 接近 StyleGAN2 的同时内部表示完全不同等变性和视频一致性更好。反过来一个模型 FID 更低也不代表更适合编辑或反演。第四数据预处理比很多人想象得更重要。FFHQ 之所以成为 StyleGAN 时代的标志数据集不只是因为图片多还因为对齐、裁剪、质量控制都比较规范。自己训练头像模型时如果人脸框、分辨率、背景和压缩质量很乱模型会把这些混乱也学进去。第五官方 pickle 和代码版本要对齐。StyleGAN3 README 说明它兼容旧 StyleGAN2-ADA pickle但旧模型在新代码里运行不会自动获得 StyleGAN3 架构收益。要得到 alias-free 生成器需要按 StyleGAN3 配置重新训练或微调。一个更短的理解方式StyleGAN 的演化其实很连贯StyleGAN1: 让 latent 逐层控制图像而不是只进网络开头 StyleGAN2: 保留逐层控制但把归一化造成的 artifact 修掉 StyleGAN2-ADA: 保留架构把小数据下的判别器过拟合压住 StyleGAN3: 保留画质把生成过程里的采样网格泄漏压住它不是一条单纯刷 FID 的路线。StyleGAN1 让人们开始认真操作WWW空间StyleGAN2 让高质量反演和编辑更可靠StyleGAN2-ADA 让普通规模数据集也能训练StyleGAN3 则把问题推进到连续信号和等变性。扩散模型流行之后StyleGAN 不再是图像生成的唯一中心但它在可控生成、latent editing、数据集蒸馏和人脸/头像类任务里仍然有很高参考价值。如果只读一篇论文读 StyleGAN2如果要训练自己的数据集从 StyleGAN2-ADA PyTorch 开始如果要做连续动画或视频一致性再认真读 StyleGAN3。这个顺序比按年份硬啃四篇论文更省时间。资料链接StyleGAN 论文A Style-Based Generator Architecture for Generative Adversarial Networkshttps://arxiv.org/abs/1812.04948StyleGAN2 论文Analyzing and Improving the Image Quality of StyleGANhttps://arxiv.org/abs/1912.04958StyleGAN2-ADA 论文Training Generative Adversarial Networks with Limited Datahttps://arxiv.org/abs/2006.06676StyleGAN3 论文Alias-Free Generative Adversarial Networkshttps://arxiv.org/abs/2106.12423StyleGAN2-ADA PyTorch 官方仓库https://github.com/NVlabs/stylegan2-ada-pytorchStyleGAN3 官方仓库https://github.com/NVlabs/stylegan3