按年被提到
20242024 · 8 次2026
大模型与语言模型›大模型推理与思维链·arXiv:2406.02061 · cs.LG

Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models

爱丽丝梦游仙境:简单任务暴露出最先进大语言模型的推理全面崩溃
Marianna Nezhurina, Lucia Cipolina-Kun, Mehdi Cherti, Jenia Jitsev · 2024

一道简单常识数学题,让 GPT-4 等顶尖模型推理崩溃

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 8 人首次 2024-06-05 · 最近 2024-12-04
8不同的人
5活跃月份
7讨论串
53被引(OpenAlex)

论文用一个人类很容易解决、用简洁自然语言表述的常识数学题(AIW 问题),展示包括 GPT-4 和 Claude 3 Opus 在内的所有最先进模型的泛化与基本推理出现剧烈崩溃:平均表现低,且在不改变结构和难度的模板微调下波动很大。模型还对错误答案高度自信,给出听起来合理的“解释式”编造,思维链和多步重新评估等常规干预也无效。作者呼吁重新评估现有基准对能力的声称,并建立能发现这类缺陷的标准化基准。

HN 为什么提它

HN 上的人拿它当作“最先进 LLM 在简单题上也会推理崩溃、幻觉很容易诱发”的证据,用于反驳对基准分数和 LLM 推理能力的乐观解读。

实证研究难度 2 / 5约 40 分钟有时效性
读之前最好知道
1大语言模型基础
2基准测试与泛化(generalization)
3思维链提示(chain-of-thought prompting)
4幻觉(hallucination)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐artninja1988 · 2024-12

“I found their position paper on it super convincing Alice in Wonderland”

推荐这篇立场论文,称其论证 LLM 推理崩溃非常有说服力
Genie 2: A large-scale foundation world model原评论 ↗
引用salamo · 2024-06

“Hallucinations still are trivial [1] to elicit.”

拿它说明 LLM 的幻觉很容易诱发
AI Appears to Rapidly Be Approaching Brick Wall Where It Can't Get Smarter原评论 ↗
引用aadityaubhat · 2024-06

“research paper shows the reasoning breakdown in SOTA LLMs by asking a simple question”

引它:问一个简单的兄弟姐妹数量问题就暴露 SOTA LLM 推理崩溃
Novel prompting approach for Alice in Wonderland problem原评论 ↗
引用discreteevent · 2024-07

“when it is probed further [1] it starts to break down in exactly the same way a crammer does”

引它说明 LLM 被追问时会像临时抱佛脚的学生一样崩溃
Reasoning in Large Language Models: A Geometric Perspective原评论 ↗
引用smusamashah · 2024-09

“Edit: found two more papers”

补充又找到的两篇论文,其一展示顶尖 LLM 在简单任务上推理失败
Reflection 70B, the top open-source model原评论 ↗
引用s-macke · 2024-10

“These results are very similar to the "Alice in Wonderland" problem [1, 2], which was already discussed a few months ago.”

指出结果与几个月前讨论过的爱丽丝梦游仙境问题很相似
Understanding the Limitations of Mathematical Reasoning in LLMs原评论 ↗
看全部 7 条 →
引用warkdarrior · 2024-12

“Did you link the wrong Arxiv paper? Alice in Wonderland does not look like a position paper nor does it share any authors with this Genie 2 work.”

质疑链接错了论文:它不是立场论文,也与 Genie 2 无关
Genie 2: A large-scale foundation world model原评论 ↗
被提交为 story · 1 次