按年被提到
20202020 · 2 次2026
视觉、语音与图像生成›视觉语言与自监督表征·arXiv:2007.03898 · stat.ML

NVAE: A Deep Hierarchical Variational Autoencoder

NVAE:深度层次化变分自编码器
Arash Vahdat, Jan Kautz · 2020

NVAE:深度层次化 VAE,用于高分辨率图像生成

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2020-09-21 · 最近 2025-06-27发表于 neural information processing systems
3不同的人
3活跃月份
4讨论串
461被引(OpenAlex)

NVAE 不再只关注 VAE 的统计问题,而是着力设计层次化 VAE 的神经网络架构:使用深度可分离卷积和批归一化,对正态分布做残差参数化,并用谱正则稳定训练。它在 MNIST、CIFAR-10、CelebA 64 和 CelebA HQ 上达到非自回归似然模型中的最好结果,例如在 CIFAR-10 上把 bits/dim 从 2.98 降到 2.91。作者称这是首个成功应用于 256×256 自然图像的 VAE。

HN 为什么提它

评论者称它是篇好论文,并把它和 VD-VAE 一起作为 VAE 重新受到关注、且训练成本相对大型 GAN 较低的例子。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1变分自编码器(VAE)
2层次化隐变量模型
3残差网络与批归一化
4似然生成模型(normalizing flow、自回归模型)

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先看 VAE 基础,再补上 NVAE 用到的网络构件(残差、批归一化、Swish、深度可分离卷积),并以 VQ-VAE-2 作为同类图像生成对照,最后读 NVAE 如何把层次化 VAE 做深做大。

  1. 1
    Auto-Encoding Variational Bayes自编码变分贝叶斯 · 2013

    VAE 是 NVAE 的基础:重参数化技巧与变分下界。

    读ELBO 的推导与重参数化技巧;后验、先验和重构项的含义。

  2. 2
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    NVAE 的编码器和解码器由残差单元搭成。

    读残差块结构,理解为何深网络依赖跳连。

  3. 3
    Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift批归一化:通过减少内部协变量偏移加速深度网络训练 · 2015

    NVAE 在残差单元里使用批归一化,并专门讨论它在 VAE 训练中的稳定性。

    读批归一化的计算方式与训练和推断时的差异。

  4. 4
    Searching for Activation Functions搜索激活函数 · 2017

    NVAE 的残差单元使用 Swish 激活函数。

    读Swish 的形式 x · sigmoid(x) 及其与 ReLU 的比较,了解即可。

  5. 5

    NVAE 的残差单元借鉴了深度可分离卷积和 squeeze-and-excitation 等轻量构件,MobileNetV2 是这类设计的代表。

    读倒残差结构与深度可分离卷积;只抓结构,不看移动端实验。

  6. 6

    VQ-VAE-2 是同期用层次化隐变量做高保真图像生成的方法,可与 NVAE 对照。

    读多层离散隐变量加自回归先验的组合方式,以及与 NVAE 的取舍。

  7. 7
    NVAE: A Deep Hierarchical Variational AutoencoderNVAE:深度层次化变分自编码器 · 2020 · 就是这篇

    为层次化 VAE 精心设计网络结构,使深层 VAE 在高分辨率图像上训练稳定。

    读先读残差单元与层次化结构的设计,再看稳定训练的技巧(如谱正则)和生成结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐kelseyfrog · 2025-06

“NVAE[1] was a great paper”

称 NVAE 是一篇很棒的论文
Apple Research unearthed forgotten AI technique and using it to generate images原评论 ↗
引用aaron-santos · 2020-09

“Just about to get into SE blocks after reading through”

说读完 NVAE 后正要去看 SE blocks
Channel Attention and Squeeze-and-Excitation Networks (SENet)原评论 ↗
引用gwern · 2021-01

“There's also a resurgence of VAE work which is relatively efficient: VD-VAE [OTHER_PAPER] and NVAE NVAE”

把它与 VD-VAE 并列为相对高效的 VAE 工作复兴的例子
This Anime Does Not Exist原评论 ↗
被提交为 story · 1 次