按年被提到
20252025 · 8 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2502.09992 · cs.CL

Large Language Diffusion Models

大型语言扩散模型
Shen Nie, Fengqi Zhu, Zebin You, Xiaolu Zhang, Jingyang Ou, Jun Hu, Jun Zhou, Yankai Lin, Ji-Rong Wen, Chongxuan Li · 2025

用掩码扩散从头训练 8B 语言模型 LLaDA,对标自回归模型

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 7 人首次 2025-02-17 · 最近 2026-02-25
7不同的人
4活跃月份
8讨论串
129被引(OpenAlex)

提出 LLaDA:在预训练加 SFT 的范式下从头训练的扩散语言模型,前向过程随机掩码,反向过程由 Transformer 预测被掩码的 token,并优化似然下界。在通用、数学、代码等基准上扩展性良好,LLaDA 8B 在上下文学习上与 LLaMA3 8B 相当,SFT 后能进行多轮对话,并在逆转诗歌补全任务上超过 GPT-4o。

HN 为什么提它

评论者用它说明语言扩散模型可以同时预测多个 token、整体精修;也有人指出它的推理并不比自回归模型强,且因不支持 KV cache 而慢得多。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1Transformer 架构
2自回归语言模型
3扩散模型(diffusion models)
4似然下界(ELBO)
5指令微调(SFT)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐hnfong · 2025-03

“It sounds kind of like what you're describing, and nobody else has mentioned it yet, so take a look and see whether it's relevant.”

推荐它,觉得与提问者描述的想法相符,没人提过,值得一看
Ask HN: Any insider takes on Yann LeCun's push against current architectures?原评论 ↗
批评kadushka · 2025-03

“it's extremely slow – couple of orders of magnitude slower than a regular LLM, mainly because it does not support KV caching”

批评它极慢,比普通 LLM 慢几个数量级,主要因为不支持 KV caching
Beyond Diffusion: Inductive Moment Matching原评论 ↗
引用betula_ai · 2025-02

“is the recent success of language diffusion models for predicting multiple tokens simultaneously.”

把语言扩散模型同时预测多个 token 当作近期的成功
I think Yann Lecun was right about LLMs (but perhaps only by accident)原评论 ↗
引用Kye · 2025-02

“The LLDM model paper was posted elsewhere, but: Large Language Diffusion Models”

补上论文链接,介绍这种扩散式文本模型一次细化所有 token 并能自我纠错
I think Yann Lecun was right about LLMs (but perhaps only by accident)原评论 ↗
引用kadushka · 2025-04

“They do not reason significantly better than autoregressive LLMs.”

指出扩散 LLM 推理并不明显优于自回归 LLM
Yann LeCun, Pioneer of AI, Thinks Today's LLM's Are Nearly Obsolete原评论 ↗
被提交为 story · 4 次