按年被提到
20252026 · 4 次2026
大模型与语言模型›大模型推理与思维链·arXiv:2506.06941 · cs.AI

The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity

思考的幻觉:从问题复杂度看推理模型的优势与局限
Parshin Shojaee, Iman Mirzadeh, Keivan Alizadeh, Maxwell Horton, Samy Bengio, Mehrdad Farajtabar · 2025

用可控谜题测试推理模型,复杂度过高时准确率彻底崩溃

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2025-06-12 · 最近 2026-10-29
5不同的人
4活跃月份
5讨论串
115被引(OpenAlex)

论文用可精确调节复杂度的谜题环境评估大型推理模型(LRM),不仅看最终答案,也分析推理轨迹。实验显示 LRM 在超过某一复杂度后准确率完全崩溃,推理努力在问题变难时先升后降,尽管仍有 token 预算。对比同等推理算力下的普通 LLM,出现三种区间:低复杂度时普通模型更好,中等复杂度时 LRM 占优,高复杂度时两者都崩溃;LRM 在精确计算上也有局限,不会使用显式算法,在不同规模上推理不一致。

HN 为什么提它

HN 评论者引它支持“推理模型只是更高层次的模式匹配、到复杂度极限就失效”的观点,也有人批评如汉诺塔这类题的失败其实源于输出 token 上限,而不是推理能力。

实证研究难度 3 / 5约 45 分钟有时效性
读之前最好知道
1大型推理模型与思维链
2汉诺塔等经典谜题与算法复杂度
3token 预算与推理时算力
4大语言模型评测方法

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评curious_cat_163 · 2025-06

“On one of these toy problems, the Tower of Hanoi, the models structurally cannot output enough tokens to solve the problem”

批评汉诺塔失败是 token 数量受限所致,不能说明推理能力不足
The Rise of Reasoning Machines原评论 ↗
引用lambdaone · 2026-07

“just pattern matching at a higher level, and eventually runs out of steam.[0]”

拿它说明推理模型只是更高层次的模式匹配,终会力竭
The Short Leash AI Coding Method for Beating Fable原评论 ↗
引用montebicyclelo · 2026-07

“in 2025 this paper showed that "thought traces" in the models of the time could sometimes be inaccurate or misleading.”

引用它说明当时模型的思考轨迹有时不准确甚至误导
Is AI Reasoning Right for the Wrong Reasons?原评论 ↗
引用jeanmichelselli · 2026-09

“AI models and in particular LLMs are not capable of logic reasoning. See for example this paper:”

拿它佐证 LLM 不具备逻辑推理能力
How An AI math breakthrough ignited a controversy原评论 ↗
被提交为 story · 1 次