按年被提到
20252025 · 5 次2026
大模型与语言模型›大模型推理与思维链·arXiv:2505.13775 · cs.LG

Beyond Semantics: The Unreasonable Effectiveness of Reasonless Intermediate Tokens

超越语义:无推理意义的中间 token 出人意料的有效性
Karthik Valmeekam, Vardhan Palod, Kaya Stechly, Atharva Gundawar, Subbarao Kambhampati · 2025

用错误推理痕迹训练的模型表现与正确痕迹相当

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2025-05-21 · 最近 2026-10-06
6不同的人
4活跃月份
7讨论串
13被引(OpenAlex)

作者从零训练 Transformer,让它们学习可形式化验证的推理痕迹及对应答案,发现即使在完全正确的痕迹上训练,模型也可能输出无效的推理痕迹却得到正确答案;在与题目毫无关系的被破坏痕迹上训练,效果与正确痕迹相近,甚至在分布外任务上泛化更好。GRPO 强化学习提高了答案准确率但并未提高痕迹有效性,痕迹长度也与问题的计算复杂度基本无关,论文据此提醒不要把中间 token 当作类人推理。

HN 为什么提它

HN 上的人用它支持中间推理 token 未必有语义、模型不一定在真的推理这一观点。

实证研究难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1思维链(Chain of Thought)
2Transformer 训练
3强化学习后训练(GRPO)
4可验证推理任务与规划问题

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用emp17344 · 2025-05

“This paper makes the claim that the “reasoning” output these models produce isn’t a necessary component of these models, and is likely unrelated to the actual final output:”

指出论文主张模型输出的推理并非必要组成部分,很可能与最终输出无关
How Does Claude 4 Think? – Sholto Douglas and Trenton Bricken原评论 ↗
引用nyrikki · 2025-07

“Subbarao Kambhampati and his team has several papers strongly suggesting that the intermediate tokens are of no symantic import.”

指出 Kambhampati 团队多篇论文强烈表明中间 token 没有语义意义
Chain of thought monitorability: A new and fragile opportunity for AI safety原评论 ↗
引用ds_opseeker · 2026-08

“If it was a reasoning machine then we would not see results like this:”

拿它反驳推理机器的看法,用被破坏的推理轨迹训练效果与正确的相当
Software engineering is about managing complexity原评论 ↗
引用ForHackernews · 2026-10

“"Beyond Semantics: The Unreasonable Effectiveness of Reasonless Intermediate Tokens" Beyond Semantics”

引用这篇论文,用被破坏的推理轨迹训练的模型表现与正确的相当
I'm the AGI that's wiping out humanity原评论 ↗
被提交为 story · 3 次