“NVAE[1] was a great paper”
NVAE: A Deep Hierarchical Variational Autoencoder
NVAE:深度层次化 VAE,用于高分辨率图像生成
NVAE 不再只关注 VAE 的统计问题,而是着力设计层次化 VAE 的神经网络架构:使用深度可分离卷积和批归一化,对正态分布做残差参数化,并用谱正则稳定训练。它在 MNIST、CIFAR-10、CelebA 64 和 CelebA HQ 上达到非自回归似然模型中的最好结果,例如在 CIFAR-10 上把 bits/dim 从 2.98 降到 2.91。作者称这是首个成功应用于 256×256 自然图像的 VAE。
评论者称它是篇好论文,并把它和 VD-VAE 一起作为 VAE 重新受到关注、且训练成本相对大型 GAN 较低的例子。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先看 VAE 基础,再补上 NVAE 用到的网络构件(残差、批归一化、Swish、深度可分离卷积),并以 VQ-VAE-2 作为同类图像生成对照,最后读 NVAE 如何把层次化 VAE 做深做大。
- 1
- 2
- 3
NVAE 在残差单元里使用批归一化,并专门讨论它在 VAE 训练中的稳定性。
读批归一化的计算方式与训练和推断时的差异。
- 4
NVAE 的残差单元使用 Swish 激活函数。
读Swish 的形式 x · sigmoid(x) 及其与 ReLU 的比较,了解即可。
- 5
NVAE 的残差单元借鉴了深度可分离卷积和 squeeze-and-excitation 等轻量构件,MobileNetV2 是这类设计的代表。
读倒残差结构与深度可分离卷积;只抓结构,不看移动端实验。
- 6
VQ-VAE-2 是同期用层次化隐变量做高保真图像生成的方法,可与 NVAE 对照。
读多层离散隐变量加自回归先验的组合方式,以及与 NVAE 的取舍。
- 7NVAE: A Deep Hierarchical Variational Autoencoder
为层次化 VAE 精心设计网络结构,使深层 VAE 在高分辨率图像上训练稳定。
读先读残差单元与层次化结构的设计,再看稳定训练的技巧(如谱正则)和生成结果。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Just about to get into SE blocks after reading through”
“There's also a resurgence of VAE work which is relatively efficient: VD-VAE [OTHER_PAPER] and NVAE NVAE”
- NVAE: A Deep Hierarchical Variational Autoencoder ↗aaron-santos · 2020-09-21 · 7 分