按年被提到
20202021 · 2 次2026
视觉、语音与图像生成›扩散模型·arXiv:2011.13456 · cs.LG

Score-Based Generative Modeling through Stochastic Differential Equations

通过随机微分方程做基于得分的生成建模
Yang Song, Jascha Sohl-Dickstein, Diederik P. Kingma, Abhishek Kumar, Stefano Ermon, Ben Poole · 2020

用随机微分方程统一得分生成与扩散模型

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2021-05-12 · 最近 2022-12-11发表于 International Conference on Learning Representations
3不同的人
3活跃月份
3讨论串
2,790被引(OpenAlex)

论文用一个随机微分方程(SDE)把复杂数据分布逐步加噪变成已知先验分布,再用只依赖扰动分布得分(梯度场)的反向时间 SDE 把噪声变回数据;得分由神经网络估计,再用数值 SDE 求解器采样。该框架统一了此前的基于得分的生成模型与扩散概率模型,引入了 predictor-corrector 采样器,并推出了可精确计算似然的等价神经 ODE,还能处理类条件生成、图像修复和上色等逆问题。结合架构改进,它在 CIFAR-10 上取得 Inception score 9.89、FID 2.20 的纪录,并首次用得分模型生成了 1024×1024 的高保真图像。

HN 为什么提它

评论者在给想重回 AI 领域的人开阅读清单时推荐它,也把它作为用 SDE 做生成建模的 ICLR 论文引用,并拿它当比较基准。

奠基之作难度 5 / 5约 120 分钟经得起时间
读之前最好知道
1扩散概率模型(DDPM)
2随机微分方程(SDE)
3得分匹配(score matching)
4神经 ODE(neural ODE)
5概率论与生成模型基础

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先看 GAN 与流模型这两类对照模型,再读 DDPM(目标论文把它与得分匹配统一起来的出发点)和 StyleGAN2 作为图像质量上的对比基准,最后读用 SDE 统一得分生成与扩散模型的这篇论文。

  1. 1
    Generative Adversarial Networks生成对抗网络 · 2014

    GAN 是同类图像生成里的主要对照路线,理解其目标有助于看清扩散与得分模型的区别。

    读生成器与判别器的极小极大博弈;训练不稳定的问题。

  2. 2
    Density estimation using Real NVP使用 Real NVP 的密度估计 · 2016

    Real NVP 是流模型的代表,目标论文把概率流 ODE 与连续流模型联系起来,并比较似然。

    读可逆耦合层与精确似然计算,了解变量变换公式即可。

  3. 3
    Denoising Diffusion Probabilistic Models去噪扩散概率模型 · 2020

    DDPM 是目标论文要推广的离散时间扩散模型,目标论文把它视作 SDE 的一种离散化。

    读前向加噪过程、反向去噪参数化,以及与去噪得分匹配的联系。

  4. 4
    Analyzing and Improving the Image Quality of StyleGAN分析并改进 StyleGAN 的图像质量 · 2019

    StyleGAN2 是目标论文在 CIFAR-10 与高分辨率人脸上比较图像质量时的强基线。

    读只需知道它的生成质量水准;架构改动可略过。

  5. 5
    Score-Based Generative Modeling through Stochastic Differential Equations通过随机微分方程做基于得分的生成建模 · 2020 · 就是这篇

    用 SDE 描述加噪与去噪过程,统一得分生成与扩散模型,并推出概率流 ODE 与可控生成。

    读前向 SDE、由得分函数决定的反向时间 SDE,以及 VE、VP 两类 SDE 与 DDPM 的对应。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐jdeaton · 2022-12

“However, some papers which fit the criteria for me at the time were the following:”

列为当时符合自己标准的论文之一,推荐给想回到 AI 领域的人
Ask HN: How to get back into AI?原评论 ↗
引用phonebucket · 2021-05

“In a similar ilk, there's this ICLR paper from this year using stochastic differential equations for generative modelling:”

补充今年 ICLR 一篇用随机微分方程做生成建模的论文
Diffusion Models Beat GANs on Image Synthesis原评论 ↗
引用igorkraw · 2021-10

“if you are the authors can I ask you to delineate it against Song et al.”

请作者说明与 Song 等人这篇论文的区别,以它作比较基准
Diffusion Normalizing Flow原评论 ↗