“It sounds kind of like what you're describing, and nobody else has mentioned it yet, so take a look and see whether it's relevant.”
按年被提到
20252025 · 8 次2026
Large Language Diffusion Models
大型语言扩散模型
Shen Nie, Fengqi Zhu, Zebin You, Xiaolu Zhang, Jingyang Ou, Jun Hu, Jun Zhou, Yankai Lin, Ji-Rong Wen, Chongxuan Li · 2025
用掩码扩散从头训练 8B 语言模型 LLaDA,对标自回归模型
被推荐 · 7 人首次 2025-02-17 · 最近 2026-02-25
7不同的人
4活跃月份
8讨论串
129被引(OpenAlex)
提出 LLaDA:在预训练加 SFT 的范式下从头训练的扩散语言模型,前向过程随机掩码,反向过程由 Transformer 预测被掩码的 token,并优化似然下界。在通用、数学、代码等基准上扩展性良好,LLaDA 8B 在上下文学习上与 LLaMA3 8B 相当,SFT 后能进行多轮对话,并在逆转诗歌补全任务上超过 GPT-4o。
HN 为什么提它
评论者用它说明语言扩散模型可以同时预测多个 token、整体精修;也有人指出它的推理并不比自回归模型强,且因不支持 KV cache 而慢得多。
方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1Transformer 架构
2自回归语言模型
3扩散模型(diffusion models)
4似然下界(ELBO)
5指令微调(SFT)
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及推荐hnfong · 2025-03
推荐它,觉得与提问者描述的想法相符,没人提过,值得一看
批评kadushka · 2025-03
“it's extremely slow – couple of orders of magnitude slower than a regular LLM, mainly because it does not support KV caching”
批评它极慢,比普通 LLM 慢几个数量级,主要因为不支持 KV caching
引用betula_ai · 2025-02
“is the recent success of language diffusion models for predicting multiple tokens simultaneously.”
把语言扩散模型同时预测多个 token 当作近期的成功
引用Kye · 2025-02
“The LLDM model paper was posted elsewhere, but: Large Language Diffusion Models”
补上论文链接,介绍这种扩散式文本模型一次细化所有 token 并能自我纠错
引用kadushka · 2025-04
“They do not reason significantly better than autoregressive LLMs.”
指出扩散 LLM 推理并不明显优于自回归 LLM
被提交为 story · 4 次
- Large Language Diffusion Models ↗Philpax · 2025-02-17 · 2 分
- Large Language Diffusion Models ↗kadushka · 2025-02-23 · 7 分
- Diffusion LLM Has Arrived ↗ironbound · 2025-02-27 · 2 分
- Large Language Diffusion Models ↗andsoitis · 2026-02-25 · 1 分