按年被提到
20232025 · 4 次2026
大模型与语言模型›大模型推理与思维链·arXiv:2305.04388 · cs.CL

Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting

语言模型并不总是说出所想:思维链提示中的不忠实解释
Miles Turpin, Julian Michael, Ethan Perez, Samuel R. Bowman · 2023

证明思维链解释可能系统性地掩盖模型真正的预测依据

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 7 人首次 2023-05-10 · 最近 2025-11-18
7不同的人
6活跃月份
7讨论串
376被引(OpenAlex)

论文发现思维链(CoT)解释可能系统性地歪曲模型预测的真实原因:在输入中加入偏置特征(如把少样本提示中的选项重排使答案总是“(A)”),模型会系统性地不在解释中提及它;当把模型引向错误答案时,它们常生成为这些答案找理由的 CoT。在 BIG-Bench Hard 的 13 个任务上,用 GPT-3.5 和 Claude 1.0 测试时准确率最多下降 36%;在社会偏见任务上,模型解释会为符合刻板印象的答案辩护却不提及偏见的影响。作者认为 CoT 解释可能看似合理却具有误导性,需要提升 CoT 忠实性,或放弃 CoT 而采用其他方法。

HN 为什么提它

HN 上的人把它当作“LLM 的思维链输出未必反映其真实推理”的实证依据,在讨论推理模型、可解释性和 Anthropic 后续相关工作时反复引用。

实证研究难度 3 / 5约 50 分钟经得起时间
读之前最好知道
1思维链提示(chain-of-thought prompting)
2大语言模型与少样本提示
3BIG-Bench Hard 基准
4模型可解释性与忠实性(faithfulness)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐skybrian · 2023-05

“There's an interesting paper on this:”

推荐这篇有意思的论文:思维链解释往往并不反映真实推理
“Just a statistical text predictor”原评论 ↗
引用miven · 2024-12

“In section 2 they briefly mention studies such as [1] that point out that the token outputs of a chain of thought aren't always entirely faithful to the responses of the models”

指出论文第 2 节提到的研究:思维链输出并不总是忠实于模型的回答
Training LLMs to Reason in a Continuous Latent Space原评论 ↗
引用grepLeigh · 2025-02

“LLMs that use Chain of Thought sequences have been demonstrated to misrepresent their own reasoning [1].”

引用它说明使用思维链的 LLM 会歪曲自己的真实推理
Modern-Day Oracles or Bullshit Machines? How to thrive in a ChatGPT world原评论 ↗
引用oersted · 2025-04

“Recent paper from Anthropic on the fact that the reasoning output does not necessarily reflect what the LLM is "thinking".”

指出 Anthropic 的这篇论文说明推理输出不一定反映 LLM 的“思考”
Can reinforcement learning for LLMs scale beyond math and coding tasks? Probably原评论 ↗
引用sabakhoj · 2025-07

“See: Language Models Don't Always Say What They Think”

引用它作为证据:思维链解释常常并不忠实于模型的实际推理
Chain of thought monitorability: A new and fragile opportunity for AI safety原评论 ↗
引用recitedropper · 2025-11

“This isn't vibes, it is empiricism: Language Models Don't Always Say What They Think”

引用它强调这不是凭感觉,而是实证:LLM 的思维链解释常不忠实
Google Antigravity原评论 ↗
被提交为 story · 1 次