“Actually you can get a very good proxy by looking at the probability distrobution of the "answer" tokens.”
按年被提到
20242024 · 3 次2026
Chain-of-Thought Reasoning Without Prompting
无需提示的思维链推理
Xuezhi Wang, Denny Zhou · 2024
只改解码方式、不用提示,就能从预训练 LLM 中引出思维链。
被提及 · 3 人首次 2024-02-17 · 最近 2025-02-03
3不同的人
3活跃月份
4讨论串
91被引(OpenAlex)
以往提升 LLM 推理的研究多依赖少样本或零样本思维链(CoT)提示,需要大量人工设计提示。论文问:LLM 能否在没有提示的情况下有效推理?发现只要改变解码过程,不用常规的贪心解码而去考察 top-k 备选 token,就常能从预训练 LLM 中引出内在的 CoT 路径。解码路径中存在 CoT 还与模型对所解码答案的置信度更高相关,这一置信度指标能有效区分 CoT 与非 CoT 路径;在多种推理基准上的实验表明,这种 CoT 解码能引出被标准贪心解码掩盖的推理能力。
HN 为什么提它
评论者用它说明可以通过查看答案 token 的概率分布得到不错的置信度代理,CoT 也许并非必需,靠 logit 概率偏置解码路径同样有前景。
方法难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1链式思维(chain-of-thought)提示
2贪心解码与 top-k 解码
3LLM 推理基准
4模型置信度与 token 概率
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用XenophileJKO · 2024-03
指出看“答案”token 的概率分布就能得到很好的置信度代理
引用activatedgeek · 2024-03
“there is at least one work that shows that CoT may not be necessary and biasing the decoding path via logit probabilities is also promising.”
指出至少有一项工作表明 CoT 未必必要,通过 logit 概率调整解码路径也有前景
引用activatedgeek · 2025-02
“And there are stop-gap solutions to make log probabilities more reliable by only computing them on "relevant" tokens, e.g. only final numerical answer tokens for a math problem [3].”
指出只在相关 token 上算对数概率可让其更可靠,例如数学题只看最终数字答案
被提交为 story · 1 次
- Chain-of-Thought Reasoning Without Prompting ↗famouswaffles · 2024-02-17 · 94 分