“or real NVP [2, 3] could probably do a much better job at the task, at the cost of increased computation.”
Density estimation using Real NVP
用可逆耦合变换做精确似然、精确采样的生成模型
提出 real NVP(实值非体积保持)变换,一族强大的可逆且可学习的变换,由此得到的无监督学习算法能精确计算对数似然、精确采样、精确推断隐变量,并有可解释的隐空间。作者在四个自然图像数据集上,通过采样、对数似然评估和隐变量操作展示了模型能力。
评论者把它当作归一化流(normalizing flow)密度模型的代表,也提到它与 VAE 的对比,以及其可逆耦合层的 Feistel 式结构。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先看 NICE 的可逆耦合思想,再看同期的自回归和对抗式图像生成模型,最后读 Real NVP 如何扩展到卷积结构并做精确似然。
- 1
Real NVP 直接扩展自它的可逆加性耦合层和精确似然的框架。
读加性耦合层、雅可比行列式为 1,以及如何用变量变换公式计算似然。
- 2
- 3
对抗式生成模型的卷积结构设计,Real NVP 在图像模型上借鉴卷积结构。
读卷积架构的设计准则;理解 GAN 为什么没有似然。
- 4
- 5
同属归一化流的方法,用于变分推断,可对照流模型的用法。
读逆自回归流的变换形式,以及与耦合层的区别。
- 6Density estimation using Real NVP
目标论文:用仿射耦合层做精确似然、精确采样的生成模型。
读仿射耦合层、掩码方式、多尺度结构和批归一化的处理。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“* RealNVP - Density estimation using Real NVP”
“Normalizing flows - e.g., Density estimation using Real NVP, [OTHER_PAPER], among many others”
“Another example is RealNVP, which has the same structure to enable inversion (partition, process half, then use the result to mutate the other half in an invertible way).”