按年被提到
20202023 · 2 次2026
视觉、语音与图像生成›扩散模型·arXiv:2006.11239 · cs.LG

Denoising Diffusion Probabilistic Models

去噪扩散概率模型
Jonathan Ho, Ajay Jain, Pieter Abbeel · 2020

扩散模型实现高质量图像合成,并与去噪得分匹配建立联系

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2022-09-03 · 最近 2024-05-26
4不同的人
5活跃月份
5讨论串
9,481被引(OpenAlex)

提出用受非平衡热力学启发的扩散概率模型做高质量图像合成,在加权变分下界上训练,并揭示扩散模型与基于 Langevin 动力学的去噪得分匹配之间的新联系。无条件 CIFAR10 上达到 Inception 分数 9.46 和当时最优的 FID 3.17,256×256 LSUN 上的样本质量与 ProgressiveGAN 相近,并可解释为自回归解码的推广。

HN 为什么提它

评论者把它称为学习路径中的关键一步(“著名的 DDPM 论文”),并用它讨论扩散模型为何在 2020 年突破、在某些情况下胜过 GAN。

奠基之作难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1变分推断与 ELBO(variational inference)
2马尔可夫链与高斯分布
3得分匹配与 Langevin 动力学
4生成模型(VAE / GAN)
5重参数化技巧

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先看另外几类图像生成模型(自回归、流、GAN),再带着对比读 DDPM,也顺便熟悉它用到的网络部件。

  1. 1
    Pixel Recurrent Neural Networks像素循环神经网络 · 2016

    目标论文把扩散解释为自回归解码的推广,需要先理解自回归图像模型

    读逐像素自回归建模的做法与似然评测

  2. 2
    Density estimation using Real NVP使用 Real NVP 的密度估计 · 2016

    流模型是另一类可得到精确似然的生成模型,可与扩散做对比

    读可逆耦合变换与精确似然的思路

  3. 3
    Improved Techniques for Training GANs改进的 GAN 训练技术 · 2016

    DDPM 用到 Inception score 评测样本质量,这里是该指标的出处

    读Inception score 的含义与局限

  4. 4
    A Style-Based Generator Architecture for Generative Adversarial Networks基于风格的生成对抗网络生成器架构(StyleGAN) · 2018

    当时图像生成质量的标杆,也是 DDPM 对比的对象

    读生成质量的对比参照;不必细看架构细节

  5. 5

    DDPM 的去噪网络沿用了 Wide ResNet 式的残差块

    读加宽残差块的设计思路

  6. 6
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    DDPM 的去噪网络里使用了自注意力层

    读自注意力的计算方式,以及位置编码为什么也被用于时间步嵌入

  7. 7
    Denoising Diffusion Probabilistic Models去噪扩散概率模型 · 2020 · 就是这篇

    目标论文:用扩散概率模型生成高质量图像,并与去噪得分匹配联系起来

    读前向加噪与反向去噪的推导、加权变分下界的简化目标,以及渐进有损解压缩的解释

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐godelski · 2023-07

“Once you get there, you should be able to understand the famous DDPM paper[3].”

把著名的 DDPM 论文列为学习路径中要读懂的关键一步
Stanford A.I. Courses原评论 ↗
引用Dzugaru · 2022-09

“then Diffusion Models [3] sort of made a really cool "deep variational" autoencoder that uses small noise-denoise steps, but largely the same math (variational inference)”

把扩散模型看作用小步加噪去噪的深度变分自编码器,数学基本相同
Stable Diffusion forming images from text: image snapshots at each step原评论 ↗
引用Imnimo · 2023-01

“If you look at Appendix Figure 9 from the same paper it is clear what's going on.”

指向附录图 9,用来说明插值实际展示的是什么
Lawsuit challenging Stable Diffusion filed against DeviantArt & others原评论 ↗
引用godelski · 2024-02

“Diffusion then showed promise but why did DDPM come out in 2020[2]?”

提问为何 DDPM 到 2020 年才出现,此前扩散已有前景
Mamba Explained: The State Space Model Taking On Transformers原评论 ↗
引用reasonableklout · 2024-05

“But my understanding is that the breakthrough was empirical results from Ho [2] and Nichol [3] showing diffusion could produce not only high-quality samples but better than GANs in some cases.”

指出突破来自实验结果:扩散模型样本质量高,有时胜过 GAN
Diffusion Models原评论 ↗