按年被提到
20212025 · 2 次2026
视觉、语音与图像生成›扩散模型·arXiv:2107.03006 · cs.LG

Structured Denoising Diffusion Models in Discrete State-Spaces

离散状态空间中的结构化去噪扩散模型
Jacob Austin, Daniel D. Johnson, Jonathan Ho, Daniel Tarlow, Rianne van den Berg · 2021

D3PM:把扩散模型推广到离散状态空间,用于文本和图像

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2022-12-11 · 最近 2025-10-20
3不同的人
3活跃月份
3讨论串
340被引(OpenAlex)

论文提出离散去噪扩散概率模型 D3PM,把 DDPM 的思路推广到离散数据,并突破了均匀转移概率的加噪过程,可使用模仿高斯核、基于嵌入空间近邻或引入吸收态的转移矩阵。其中吸收态的选择把扩散模型与自回归模型和掩码生成模型联系了起来。作者表明转移矩阵的选择对图像和文本结果都是重要的设计决策,还引入了把变分下界与辅助交叉熵相结合的新损失;在 LM1B 的字符级文本生成上结果良好,在 CIFAR-10 上样本质量接近、似然超过连续空间的 DDPM。

HN 为什么提它

评论者讨论离散扩散时引用它,指出每个 token 在每一步都可变化,并称扩散与掩码语言模型的联系早在 2021 年就在该文第 5 页被注意到。

方法难度 5 / 5约 70 分钟经得起时间
读之前最好知道
1扩散概率模型(DDPM)
2马尔可夫链与转移矩阵
3变分下界(ELBO)
4自回归与掩码语言模型(masked LM)

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我建立自回归生成、Transformer、掩码语言模型与连续扩散模型的背景,从而理解为何要把扩散推广到离散状态空间。

  1. 1
    Pixel Recurrent Neural Networks像素循环神经网络 · 2016

    逐像素自回归是离散图像生成的主要对照基线。

    读抓像素按顺序建模的条件分布分解,以及它为何采样慢。

  2. 2
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    文本实验的去噪网络用 Transformer 架构。

    读抓自注意力和编码器结构,不必细看翻译实验。

  3. 3
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    D3PM 的吸收态(掩码)腐蚀过程与 BERT 的掩码语言建模相通。

    读抓掩码语言模型的训练目标,理解掩码就是一种吸收态。

  4. 4

    条件掩码语言模型并行解码,与吸收态扩散的迭代去噪思路相近。

    读抓迭代掩码、重新预测的解码流程。

  5. 5
    Score-Based Generative Modeling through Stochastic Differential Equations通过随机微分方程做基于得分的生成建模 · 2020

    连续状态空间的扩散与得分模型的统一框架,D3PM 要在离散空间对应地推广它。

    读抓前向加噪与反向去噪的过程设定;SDE 的数学细节可略读。

  6. 6
    Structured Denoising Diffusion Models in Discrete State-Spaces离散状态空间中的结构化去噪扩散模型 · 2021 · 就是这篇

    给出一般的离散腐蚀转移矩阵,统一多项扩散、吸收态等多种设计。

    读抓转移矩阵 Q 的几种构造(均匀、吸收、近邻、离散化高斯)、反向过程的参数化与损失,再看文本和图像实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐jdeaton · 2022-12

“However, some papers which fit the criteria for me at the time were the following:”

推荐这篇离散状态扩散模型论文,建议回归 AI 时读
Ask HN: How to get back into AI?原评论 ↗
引用thomasahle · 2025-05

“What you actually do in discrete statespace diffusion (see e.g. [1]) is to allow every token to change at every time step.”

解释离散状态扩散中每个 token 在每一步都可能改变
Gemini Diffusion原评论 ↗
引用jaaustin · 2025-10

“To my knowledge this connection was first noted in 2021 in Structured Denoising Diffusion Models in Discrete State-Spaces (page 5).”

指出这种联系最早在 2021 年该论文第 5 页提出
BERT is just a single text diffusion step原评论 ↗