按年被提到
20252026 · 6 次2026
大模型与语言模型›大模型推理与思维链·arXiv:2504.09762 · cs.AI

Position: Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces!

立场:别再把中间 token 拟人化为推理/思考痕迹
Subbarao Kambhampati, Karthik Valmeekam, Siddhant Bhambri, Vardhan Palod, Lucas Saldyt, Kaya Stechly, Soumya Rani Samineni, Durgesh Kalwar, Upasana Biswas · 2025

反对把中间 token 称作推理或思考痕迹的立场文章

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 9 人首次 2025-04-21 · 最近 2026-09-07
9不同的人
8活跃月份
11讨论串
23被引(OpenAlex)

这是一篇立场论文,指出语言模型在给出答案前生成的中间 token 常被称为“推理痕迹”甚至“思考痕迹”,这种拟人化暗示它们像人类解题步骤一样可读、可解释。作者给出证据,认为这种说法不是无害的比喻,会混淆人们对模型本质和用法的理解,并导致有问题的研究,呼吁社区不要再这样拟人化。

HN 为什么提它

评论者在争论“思维链”是否真是推理时引用它,说明中间 token 可能缺乏语义含义、推理痕迹不能当作模型思考过程的证据。

观点难度 2 / 5约 30 分钟经得起时间
读之前最好知道
1大语言模型基础
2思维链(chain-of-thought)
3自回归语言模型
4模型可解释性

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用drakythe · 2025-10

“As a source: Position”

作为出处,该立场论文主张不应把 LLM 中间 token 称作推理
A small number of samples can poison LLMs of any size原评论 ↗
引用YeGoblynQueenne · 2025-11

“[1] Marvin Minsky via Rao Kampampathi and students: Position”

作为脚注出处,支撑 Prolog 与 LLM 论述中的一句话
Learn Prolog Now (2006)原评论 ↗
引用nyrikki · 2026-06

“It is quite likely that the intermediate tokens don’t have ‘semantic import’[0]”

认为中间 token 很可能没有语义意义
GLM-5.2 is the new leading open weights model on Artificial Analysis原评论 ↗
引用ionioagnio · 2026-09

“I thought it was pretty well understood amongst experts that trying to interpret so-called "chain of thought" is anthopomorphization and that the actual "thought process" of models is already opaque.”

认为专家早有共识:把 chain of thought 解读为思考是拟人化,模型真正的思考过程本就不透明
OpenAI's new reasoning technique alarms AI safety experts原评论 ↗
引用porridgeraisin · 2026-09

“This is not a given, see Position and [LINK]”

反驳对方说法,指出对计划语言化的采样并非理所当然
Formalizing Fermat's Last Theorem原评论 ↗
引用a2ff6eeb0 · 2026-09

“Still not meaningful -- Position; even for local models, the reasoning traces are often filtered and summarized to sound sensible to humans.”

指出推理痕迹仍没有意义,即使本地模型也常被过滤和概括成听起来合理的样子
Caltech Mathathon – first hackathon ever devoted to research level mathematics原评论 ↗
被提交为 story · 5 次