“Once you get there, you should be able to understand the famous DDPM paper[3].”
Denoising Diffusion Probabilistic Models
扩散模型实现高质量图像合成,并与去噪得分匹配建立联系
提出用受非平衡热力学启发的扩散概率模型做高质量图像合成,在加权变分下界上训练,并揭示扩散模型与基于 Langevin 动力学的去噪得分匹配之间的新联系。无条件 CIFAR10 上达到 Inception 分数 9.46 和当时最优的 FID 3.17,256×256 LSUN 上的样本质量与 ProgressiveGAN 相近,并可解释为自回归解码的推广。
评论者把它称为学习路径中的关键一步(“著名的 DDPM 论文”),并用它讨论扩散模型为何在 2020 年突破、在某些情况下胜过 GAN。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先看另外几类图像生成模型(自回归、流、GAN),再带着对比读 DDPM,也顺便熟悉它用到的网络部件。
- 1
- 2
- 3
DDPM 用到 Inception score 评测样本质量,这里是该指标的出处
读Inception score 的含义与局限
- 4
当时图像生成质量的标杆,也是 DDPM 对比的对象
读生成质量的对比参照;不必细看架构细节
- 5
- 6
- 7Denoising Diffusion Probabilistic Models
目标论文:用扩散概率模型生成高质量图像,并与去噪得分匹配联系起来
读前向加噪与反向去噪的推导、加权变分下界的简化目标,以及渐进有损解压缩的解释
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“then Diffusion Models [3] sort of made a really cool "deep variational" autoencoder that uses small noise-denoise steps, but largely the same math (variational inference)”
“If you look at Appendix Figure 9 from the same paper it is clear what's going on.”
“Diffusion then showed promise but why did DDPM come out in 2020[2]?”
“But my understanding is that the breakthrough was empirical results from Ho [2] and Nichol [3] showing diffusion could produce not only high-quality samples but better than GANs in some cases.”