按年被提到
20252025 · 5 次2026
大模型与语言模型›大模型推理与思维链·arXiv:2508.01191 · cs.AI

Is Chain-of-Thought Reasoning of LLMs a Mirage? A Data Distribution Lens

大语言模型的思维链推理是海市蜃楼吗?数据分布视角
Chengshuai Zhao, Zhen Tan, Pingchuan Ma, Dawei Li, Bohan Jiang, Yancheng Wang, Yingzhen Yang, Huan Liu · 2025

思维链只在训练分布内有效,越界即失效

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2025-08-09 · 最近 2026-05-06
6不同的人
4活跃月份
7讨论串
—被引(OpenAlex)

论文用数据分布的视角解释思维链何时有效:CoT 推理反映的是从分布内数据学到的结构化归纳偏置,其效果取决于训练数据与测试问题之间的分布差异。作者构建可控环境 DataAlchemy,从零训练模型,沿任务、长度、格式三个维度做实验,发现 CoT 一旦超出训练分布就变得脆弱,像一个海市蜃楼。

HN 为什么提它

HN 上的人引用它说明思维链带来的收益很脆弱,一旦问题超出训练范围就会消失。

实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1思维链提示(Chain-of-Thought prompting)
2分布偏移与泛化(distribution shift)
3Transformer 语言模型
4归纳偏置(inductive bias)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用brendoelfrendo · 2025-08

“This sometimes leads to the desired outcome but the phenomenon is very brittle and disappears when the AI is pushed outside the bounds of its training.”

拿它说明思维链很脆弱,超出训练范围就失效
From GPT-4 to GPT-5: Measuring progress through MedHELM [pdf]原评论 ↗
引用batshit_beaver · 2026-05

“Examples:”

列举例子,说明思维链的作用有限
Three Inverse Laws of AI原评论 ↗
被提交为 story · 5 次