“However, some papers which fit the criteria for me at the time were the following:”
Structured Denoising Diffusion Models in Discrete State-Spaces
D3PM:把扩散模型推广到离散状态空间,用于文本和图像
论文提出离散去噪扩散概率模型 D3PM,把 DDPM 的思路推广到离散数据,并突破了均匀转移概率的加噪过程,可使用模仿高斯核、基于嵌入空间近邻或引入吸收态的转移矩阵。其中吸收态的选择把扩散模型与自回归模型和掩码生成模型联系了起来。作者表明转移矩阵的选择对图像和文本结果都是重要的设计决策,还引入了把变分下界与辅助交叉熵相结合的新损失;在 LM1B 的字符级文本生成上结果良好,在 CIFAR-10 上样本质量接近、似然超过连续空间的 DDPM。
评论者讨论离散扩散时引用它,指出每个 token 在每一步都可变化,并称扩散与掩码语言模型的联系早在 2021 年就在该文第 5 页被注意到。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我建立自回归生成、Transformer、掩码语言模型与连续扩散模型的背景,从而理解为何要把扩散推广到离散状态空间。
- 1
- 2
- 3
D3PM 的吸收态(掩码)腐蚀过程与 BERT 的掩码语言建模相通。
读抓掩码语言模型的训练目标,理解掩码就是一种吸收态。
- 4
条件掩码语言模型并行解码,与吸收态扩散的迭代去噪思路相近。
读抓迭代掩码、重新预测的解码流程。
- 5
连续状态空间的扩散与得分模型的统一框架,D3PM 要在离散空间对应地推广它。
读抓前向加噪与反向去噪的过程设定;SDE 的数学细节可略读。
- 6Structured Denoising Diffusion Models in Discrete State-Spaces
给出一般的离散腐蚀转移矩阵,统一多项扩散、吸收态等多种设计。
读抓转移矩阵 Q 的几种构造(均匀、吸收、近邻、离散化高斯)、反向过程的参数化与损失,再看文本和图像实验。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“What you actually do in discrete statespace diffusion (see e.g. [1]) is to allow every token to change at every time step.”
“To my knowledge this connection was first noted in 2021 in Structured Denoising Diffusion Models in Discrete State-Spaces (page 5).”