按年被提到
20162016 · 1 次2026
视觉、语音与图像生成›扩散模型·arXiv:1605.08803 · cs.LG

Density estimation using Real NVP

使用 Real NVP 的密度估计
Laurent Dinh, Jascha Sohl-Dickstein, Samy Bengio · 2016

用可逆耦合变换做精确似然、精确采样的生成模型

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2016-06-03 · 最近 2020-04-05
3不同的人
4活跃月份
4讨论串
2,064被引(OpenAlex)

提出 real NVP(实值非体积保持)变换,一族强大的可逆且可学习的变换,由此得到的无监督学习算法能精确计算对数似然、精确采样、精确推断隐变量,并有可解释的隐空间。作者在四个自然图像数据集上,通过采样、对数似然评估和隐变量操作展示了模型能力。

HN 为什么提它

评论者把它当作归一化流(normalizing flow)密度模型的代表,也提到它与 VAE 的对比,以及其可逆耦合层的 Feistel 式结构。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1概率生成模型与最大似然
2变量替换公式与雅可比行列式
3卷积神经网络(CNN)
4变分自编码器(VAE)

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先看 NICE 的可逆耦合思想,再看同期的自回归和对抗式图像生成模型,最后读 Real NVP 如何扩展到卷积结构并做精确似然。

  1. 1

    Real NVP 直接扩展自它的可逆加性耦合层和精确似然的框架。

    读加性耦合层、雅可比行列式为 1,以及如何用变量变换公式计算似然。

  2. 2
    Pixel Recurrent Neural Networks像素循环神经网络 · 2016

    同期的图像生成模型,同样给出可处理的似然,作为对比。

    读逐像素自回归分解的思路,以及采样很慢的缺点。

  3. 3
    Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks用深度卷积生成对抗网络进行无监督表示学习(DCGAN) · 2015

    对抗式生成模型的卷积结构设计,Real NVP 在图像模型上借鉴卷积结构。

    读卷积架构的设计准则;理解 GAN 为什么没有似然。

  4. 4
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    Real NVP 的耦合层内部网络用到残差块。

    读残差块结构;深层网络的训练方式。

  5. 5

    同属归一化流的方法,用于变分推断,可对照流模型的用法。

    读逆自回归流的变换形式,以及与耦合层的区别。

  6. 6
    Density estimation using Real NVP使用 Real NVP 的密度估计 · 2016 · 就是这篇

    目标论文:用仿射耦合层做精确似然、精确采样的生成模型。

    读仿射耦合层、掩码方式、多尺度结构和批归一化的处理。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用kastnerkyle · 2016-06

“or real NVP [2, 3] could probably do a much better job at the task, at the cost of increased computation.”

提出 Real NVP 或许做得更好,但计算成本更高
Blade Runner re-encoded using neural networks原评论 ↗
引用cs702 · 2018-10

“* RealNVP - Density estimation using Real NVP”

补充文章遗漏的 RealNVP
Tale of Three Probabilistic Families: Discriminative, Descriptive and Generative原评论 ↗
引用cs702 · 2019-01

“Normalizing flows - e.g., Density estimation using Real NVP, [OTHER_PAPER], among many others”

把 Real NVP 列为归一化流的例子
Deep Learning State of the Art (2019) [video]原评论 ↗
引用fvncc · 2020-04

“Another example is RealNVP, which has the same structure to enable inversion (partition, process half, then use the result to mutate the other half in an invertible way).”

以 RealNVP 为例,说明同样靠可逆的分块结构
Making an invertible function out of non-invertible parts原评论 ↗