“the difference in quality is astounding”
Diffusion Models Beat GANs on Image Synthesis
改进架构并加入分类器引导,使扩散模型的图像质量超过 GAN
论文表明扩散模型的图像样本质量可以超过当时最先进的生成模型。无条件合成通过一系列消融找到更好的架构实现;条件合成则用分类器引导,借助分类器的梯度,以简单且省算力的方式在多样性与保真度之间取舍。在 ImageNet 上取得 FID 2.97(128×128)、4.59(256×256)和 7.72(512×512),仅需 25 次前向就能与 BigGAN-deep 持平,同时保持更好的分布覆盖;与上采样扩散模型结合,256 与 512 分辨率的 FID 还分别提升到 3.94 和 3.85。
评论者用它说明扩散模型在实证上已全面超过 GAN,称画质差异令人惊叹,并把它视为扩散模型突破的关键节点;也有人拿它的 ADM 模型参数量做比较。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你建立 GAN 基线、扩散模型和得分匹配的前置知识,再看改进架构与分类器引导如何让扩散模型超过 GAN。
- 1
提供 GAN 的评价背景(Inception score 一类指标),论文要在此类指标上与 GAN 对比。
读读 Inception score 的定义与评价图像生成的讨论。
- 2
BigGAN 是论文要超越的 GAN 基线,其架构和截断技巧也被借鉴。
读读大批量与大模型的架构设计,以及截断技巧如何用多样性换保真度,对应后文的引导尺度。
- 3
最早提出扩散模型:逐步加噪、再学习反向去噪过程。
读抓前向扩散过程与反向过程的参数化思路。
- 4
- 5
从随机微分方程角度统一扩散模型与得分匹配,分类器引导的条件得分形式在此框架下最自然。
读读前向与反向 SDE 的统一视角,以及条件生成中加入分类器梯度的做法。
- 6
展示扩散模型在条件图像生成上的改进用法,其架构选择与该论文的改进相呼应。
读读用 U-Net 做条件去噪的设计,作为对比。
- 7Diffusion Models Beat GANs on Image Synthesis
改进扩散模型的架构,并用分类器引导在多样性与保真度间取舍,超越 GAN。
读重点读架构消融(自适应组归一化、注意力头等)和分类器引导的推导与尺度的作用。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“The two authors are rockstars. Given your blog post, I think you'll enjoy a lot of their work.”
“But my understanding is that the breakthrough was empirical results from Ho [2] and Nichol [3] showing diffusion could produce not only high-quality samples but better than GANs in some cases.”
“For more comparison, that makes DenseFlow and MaCow smaller than iDDPM[3] (270M params) and ADM[4] (553M for 256 unconditional).”
- Diffusion Models Beat GANs on Image Synthesis ↗lnyan · 2021-05-12 · 209 分