“However, some papers which fit the criteria for me at the time were the following:”
Score-Based Generative Modeling through Stochastic Differential Equations
用随机微分方程统一得分生成与扩散模型
论文用一个随机微分方程(SDE)把复杂数据分布逐步加噪变成已知先验分布,再用只依赖扰动分布得分(梯度场)的反向时间 SDE 把噪声变回数据;得分由神经网络估计,再用数值 SDE 求解器采样。该框架统一了此前的基于得分的生成模型与扩散概率模型,引入了 predictor-corrector 采样器,并推出了可精确计算似然的等价神经 ODE,还能处理类条件生成、图像修复和上色等逆问题。结合架构改进,它在 CIFAR-10 上取得 Inception score 9.89、FID 2.20 的纪录,并首次用得分模型生成了 1024×1024 的高保真图像。
评论者在给想重回 AI 领域的人开阅读清单时推荐它,也把它作为用 SDE 做生成建模的 ICLR 论文引用,并拿它当比较基准。
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先看 GAN 与流模型这两类对照模型,再读 DDPM(目标论文把它与得分匹配统一起来的出发点)和 StyleGAN2 作为图像质量上的对比基准,最后读用 SDE 统一得分生成与扩散模型的这篇论文。
- 1
- 2
Real NVP 是流模型的代表,目标论文把概率流 ODE 与连续流模型联系起来,并比较似然。
读可逆耦合层与精确似然计算,了解变量变换公式即可。
- 3
DDPM 是目标论文要推广的离散时间扩散模型,目标论文把它视作 SDE 的一种离散化。
读前向加噪过程、反向去噪参数化,以及与去噪得分匹配的联系。
- 4
StyleGAN2 是目标论文在 CIFAR-10 与高分辨率人脸上比较图像质量时的强基线。
读只需知道它的生成质量水准;架构改动可略过。
- 5Score-Based Generative Modeling through Stochastic Differential Equations
用 SDE 描述加噪与去噪过程,统一得分生成与扩散模型,并推出概率流 ODE 与可控生成。
读前向 SDE、由得分函数决定的反向时间 SDE,以及 VE、VP 两类 SDE 与 DDPM 的对应。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“In a similar ilk, there's this ICLR paper from this year using stochastic differential equations for generative modelling:”
“if you are the authors can I ask you to delineate it against Song et al.”