按年被提到
20242025 · 7 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2410.02724 · stat.ML

Large Language Models as Markov Chains

大语言模型即马尔可夫链
Oussama Zekri, Ambroise Odonnat, Abdelhakim Benechehab, Linus Bleistein, Nicolas Boullé, Ievgen Redko · 2024

证明自回归 Transformer 语言模型等价于有限状态空间上的马尔可夫链

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 9 人首次 2024-10-08 · 最近 2026-09-03
9不同的人
9活跃月份
11讨论串
9被引(OpenAlex)

论文针对 LLM 泛化能力缺乏全面理论分析的现状,建立了基于 Transformer 的自回归语言模型与有限状态空间上马尔可夫链的等价关系,从而可以从第一性原理研究 LLM 的多步推理机制。作者把所得结果与 LLM 的病态行为(如重复和高温度下的不连贯回复)联系起来,并在现实的数据和模型假设下推导出预训练和上下文学习的泛化界。在最新的 Llama 和 Gemma 系列模型上的实验表明,理论能够正确刻画它们在实践中的行为。

HN 为什么提它

HN 上的人在争论 LLM 是不是“只是马尔可夫链”时反复引用它,作为二者可以被形式化地等价、并能用马尔可夫理论分析 LLM 的依据。

方法难度 4 / 5约 80 分钟经得起时间
读之前最好知道
1马尔可夫链与转移矩阵
2自回归语言模型与 Transformer
3泛化界与统计学习理论
4上下文学习(in-context learning)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用magicalhippo · 2025-07

“There has also been some academic work linking the two, like this[3] paper.”

补充已有学术工作把 LLM 与马尔可夫链联系起来
Problem solving using Markov chains (2007) [pdf]原评论 ↗
引用Anon84 · 2025-09

“we covered this paper in one of our internal journal clubs a few weeks ago”

提到团队几周前在内部读书会讨论过这篇:LLM 形式上等价于马尔可夫链
The wall confronting large language models原评论 ↗
引用godelski · 2025-09

“I did find this paper on the topic[0], but I need to give it a better read.”

找到这篇论证 LLM 等价于马尔可夫链的论文,但还需细读
The wall confronting large language models原评论 ↗
引用sailingparrot · 2025-10

“And yes, LLM can be studied under the lens of Markov processes: Large Language Models as Markov Chains”

引它说明可以从马尔可夫过程的角度研究 LLM
BERT is just a single text diffusion step原评论 ↗
引用bgwalter · 2025-11

“If you want to steal code, you can take it from GitHub and strip the license. That is what the Markov chains do.”

借马尔可夫链类比,讽刺 LLM 从 GitHub 拿代码并去掉许可证
AI is a front for consolidation of resources and power原评论 ↗
引用Anon84 · 2025-11

“In fact, you can use Markov Chain theory as an analytical tool to study LLMs: Large Language Models as Markov Chains”

引它说明可用马尔可夫链理论作为分析 LLM 的工具
Ask HN: How are Markov chains so different from tiny LLMs?原评论 ↗
看全部 9 条 →
引用bgwalter · 2025-12

“But of course there also is the equivalence between LLMs and Markov chains.”

提到 LLM 与马尔可夫链之间也存在等价关系
Reflections on AI at the End of 2025原评论 ↗
引用Borealid · 2026-06

“Large Language Models as Markov Chains describes the equivalence formally.”

指出这篇论文形式化地描述了 LLM 与马尔可夫链的等价性
How LLMs Work原评论 ↗
引用chrisjj · 2026-09

“"Large Language Models as Markov Chains"”

直接引用标题,说明 LLM 可视为上下文状态上的马尔可夫链
The Emergent Symbolic Structure of Artificial Neural Networks原评论 ↗
被提交为 story · 3 次