按年被提到
20152024 · 5 次2026
视觉、语音与图像生成›扩散模型·arXiv:1503.03585 · cs.LG

Deep Unsupervised Learning using Nonequilibrium Thermodynamics

利用非平衡热力学的深度无监督学习
Jascha Sohl-Dickstein, Eric A. Weiss, Niru Maheswaranathan, Surya Ganguli · 2015

最早的扩散模型:先逐步加噪破坏数据结构,再学习反向去噪过程

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 8 人首次 2015-05-23 · 最近 2024-09-29
8不同的人
9活跃月份
10讨论串
2,637被引(OpenAlex)

为了同时获得灵活性与可处理性,作者受非平衡统计物理启发:通过迭代的前向扩散过程系统而缓慢地破坏数据分布中的结构,然后学习一个恢复结构的反向扩散过程,得到灵活且可处理的数据生成模型。这使得在有数千层或时间步的深度生成模型中也能快速学习、采样和评估概率,并可计算学到模型下的条件概率和后验概率;论文同时发布了开源参考实现。

HN 为什么提它

HN 上的人把它当作扩散模型的源头来引用,称它在 2015 年就提出了生成式扩散模型,并把它当作学习扩散模型文献的起点(但数学较重)。

奠基之作难度 5 / 5约 90 分钟经得起时间
读之前最好知道
1概率分布与变分下界(variational lower bound)
2马尔可夫链(Markov chain)
3生成模型基础(如 VAE、GAN)
4统计物理中的扩散过程

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解变分自编码器和可逆流模型这两类生成模型,以及评估生成模型的难点,再读扩散模型的最初形式。

  1. 1
    Auto-Encoding Variational Bayes自编码变分贝叶斯 · 2013

    VAE 的变分下界与目标论文训练反向过程时用的下界思想相通。

    读变分下界(ELBO)的含义与重参数化。

  2. 2

    NICE 是同期另一种精确似然的生成模型,可与扩散模型的可计算性目标对照。

    读可逆变换与精确对数似然。

  3. 3

    讨论生成模型的评估方式,帮助理解目标论文为什么强调对数似然与可计算性。

    读对数似然与样本质量不总是一致的结论。

  4. 4
    Deep Unsupervised Learning using Nonequilibrium Thermodynamics利用非平衡热力学的深度无监督学习 · 2015 · 就是这篇

    目标论文:用逐步加噪的前向扩散与学到的反向去噪过程构造灵活且可处理的生成模型。

    读前向扩散核、反向过程的参数化、训练目标(对数似然下界),以及去噪与图像修复应用。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐Imnimo · 2022-04

“This paper is a decent starting point on the literature side, but it's a doozy.”

推荐为扩散模型文献的起点,但数学很难
推荐godelski · 2023-07

“Your goal should be to understand this paper[2].”

建议以读懂这篇为目标,作为通往扩散模型的路径
Stanford A.I. Courses原评论 ↗
引用wokwokwok · 2022-10

“The real reason is that big steps result in worse results (1);”

引它说明扩散步长大则效果差
The Illustrated Stable Diffusion原评论 ↗
引用espadrine · 2023-01

“The core idea of a Markov chain[0] where each state change leads to higher likelihood, is bound to work, even if the rest doesn’t.”

指出扩散是每步都提高似然的马尔可夫链
Denoising Diffusion models from first principle in Julia原评论 ↗
引用godelski · 2024-02

“The predecessor to DDPM (the work that kicked off the diffusion model era) was published in 2015[0], only a year after GANs[1].”

举例说明 DDPM 的前身 2015 年就已发表,只比 GAN 晚一年
Mamba Explained: The State Space Model Taking On Transformers原评论 ↗
引用reasonableklout · 2024-05

“The original Dickstein 2015 paper [1] formulated diffusion as maximizing (a lower bound of) log-likelihood of generating the distribution, so there was some theory.”

指出原始论文把扩散表述为最大化对数似然下界
Diffusion Models原评论 ↗
看全部 9 条 →
引用godelski · 2024-08

“[6] Deep Unsupervised Learning using Nonequilibrium Thermodynamics”

作为扩散式生成建模的背景文献列出
The Path to StyleGan2 – Implementing the Progressive Growing GAN原评论 ↗
引用janalsncm · 2024-09

“There is an analogy between random noise -> image and a random distribution of gas particles -> concentrated volume of particles.”

以气体粒子扩散类比噪声变图像
Physics is unreasonably good at creating new math原评论 ↗
引用LarsDu88 · 2024-09

“Invented the first generative diffusion model in 2015. Deep Unsupervised Learning using Nonequilibrium Thermodynamics”

称它在 2015 年发明了首个生成式扩散模型
Too much efficiency makes everything worse (2022)原评论 ↗
被提交为 story · 1 次