按年被提到
20232023 · 3 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2309.13638 · cs.CL

Embers of Autoregression: Understanding Large Language Models Through the Problem They are Trained to Solve

自回归的余烬:从模型所要解决的问题理解大语言模型
R. Thomas McCoy, Shunyu Yao, Dan Friedman, Matthew Hardy, Thomas L. Griffiths · 2023

从下一词预测目标出发解释 LLM 为何在低概率任务上失败

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2023-10-03 · 最近 2025-06-15
4不同的人
5活跃月份
6讨论串
39被引(OpenAlex)

论文主张要理解 LLM,应当考虑它被训练去解决的问题,即对互联网文本做下一词预测。由此提出目的论方法,推断任务概率、目标输出概率和输入概率会影响 LLM 的准确率,即使在确定性任务中也是如此。作者在 GPT-3.5 和 GPT-4 上评测了十一项任务,证实了这种影响,例如 GPT-4 解码简单密码时,输出为高概率词序列时准确率为 51%,低概率时仅 13%。

HN 为什么提它

HN 上的人在争论 LLM 能否推理时,常把它与其他论文一起列为 LLM 不是真正的问题求解器、会在低概率情形失败的实证证据。

实证研究难度 2 / 5约 60 分钟有时效性
读之前最好知道
1语言模型与下一词预测
2大语言模型基本行为
3提示词评测方法
4概率与统计基础

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐lossolo · 2023-12

“A few more interesting papers not mentioned in the article:”

补充推荐几篇文章未提到的论文,它从下一个 token 训练目标解释 LLM 的行为
Will scaling work?原评论 ↗
引用nicklecompte · 2024-05

“They are “general purpose” but not at all “problem solvers” Embers of Autoregression”

引用它说明 LLM 是通用的,但并不真正擅长解决问题
Sam Altman's under pressure amid questions about OpenAI's commitment to safety原评论 ↗
引用lossolo · 2024-08

“If after reading papers below that show empirically”

把它列为 LLM 无法推理的实证论文之一
Markov chains are funnier than LLMs原评论 ↗
引用lossolo · 2024-08

“Here, a few papers that show”

把它列为 LLM 无法推理的实证论文之一
Markov chains are funnier than LLMs原评论 ↗
引用lossolo · 2025-06

“Here are papers showing that these models can't reason:”

作为几篇论文之一,用来说明这些模型不能推理
Seven replies to the viral Apple reasoning paper and why they fall short原评论 ↗
被提交为 story · 2 次