按年被提到
20232025 · 7 次2026
视觉、语音与图像生成›扩散模型·arXiv:2310.16834 · stat.ML

Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution

通过估计数据分布比值进行离散扩散建模
Aaron Lou, Chenlin Meng, Stefano Ermon · 2023

提出得分熵,让扩散模型在离散文本上追平自回归模型

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 6 人首次 2025-02-21 · 最近 2025-07-07
6不同的人
4活跃月份
6讨论串
48被引(OpenAlex)

扩散模型在语言等离散数据上一直表现不佳。论文提出得分熵(score entropy)这一新损失,把得分匹配自然推广到离散空间,并据此构建 SEDD 离散扩散模型。在语言建模上,SEDD 比现有语言扩散方法的困惑度降低 25%–75%,与自回归模型相当并超过 GPT-2;还可用约 32 倍更少的网络评估获得相近质量,并支持可控的填空式生成。

HN 为什么提它

它被评论者当作离散(文本)扩散的奠基性工作,常出现在讨论 Inception 的 Mercury 等扩散式语言模型时,也有人为它做了独立复现。

方法难度 5 / 5约 60 分钟经得起时间
读之前最好知道
1扩散模型(diffusion models)
2得分匹配(score matching)
3连续时间马尔可夫链(CTMC)
4自回归语言模型与困惑度(perplexity)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐jxmorris12 · 2025-02

“If anyone's interested in this topic, here are some more foundational papers to take a look at:”

给对该主题感兴趣的人推荐几篇更基础的论文,包括这篇离散扩散工作
I think Yann Lecun was right about LLMs (but perhaps only by accident)原评论 ↗
推荐volodia · 2025-02

“In the meantime, you can take a look at some of the research papers that inspired our work:”

列出启发了 Mercury Coder 工作的研究论文,包括这篇
Mercury Coder: frontier diffusion LLM generating 1000+ tok/sec on commodity GPUs原评论 ↗
引用cs702 · 2025-03

“The authors tested their proposed method on small autoregressive language modeling tasks, and claimed promising results:”

指出作者在小型自回归语言建模任务上测试了该方法,并称效果不错
First large diffusion-based LLM原评论 ↗
引用AlexCoventry · 2025-03

“See equations 18-20 in Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution”

指向论文的公式 18 至 20,了解 SEDD 的细节
Ask HN: Any insider takes on Yann LeCun's push against current architectures?原评论 ↗
引用freeqaz · 2025-05

“1. Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution - Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution”

把它列为 Inception 的 Mercury 网站链接的扩散模型论文之一
Mercury: Commercial-scale diffusion language model原评论 ↗
引用AlexCoventry · 2025-05

“However, the terminal-masking system is clearly superior in their benchmarks.”

指出在其基准中,终端掩码的噪声方案明显优于均匀噪声
Mercury: Commercial-scale diffusion language model原评论 ↗
看全部 7 条 →
引用mxs_ · 2025-07

“I wrote the first (as far as I can tell) independent from-scratch reimplementation of SEDD:”

介绍自己对 SEDD 离散扩散模型做的独立从零复现
Mercury: Ultra-fast language models based on diffusion原评论 ↗