“This method is better than Chain of Thought and I think is a step in the right direction.”
按年被提到
20242024 · 6 次2026
Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking
Quiet-STaR:语言模型可以自学在说话前先思考
Eric Zelikman, Georges Harik, Yijia Shao, Varuna Jayasiri, Nick Haber, Noah D. Goodman · 2024
让语言模型在每个 token 处自学生成内部推理再作预测
被推荐 · 6 人首次 2024-03-15 · 最近 2024-08-28
6不同的人
4活跃月份
6讨论串
58被引(OpenAlex)
Quiet-STaR 是 STaR 的推广:让语言模型在任意文本的每个 token 处生成理由(rationale)来解释后续内容,从而改进预测。为解决生成续写开销大、模型起初不会用内部思考、需预测多个 token 之后等难题,作者提出逐 token 并行采样、用可学习的起止标记表示思考,以及扩展的 teacher forcing。在互联网文本上继续预训练后,零样本 GSM8K 从 5.9% 升至 10.9%,CommonsenseQA 从 36.3% 升至 47.2%,且无需在这些任务上微调。
HN 为什么提它
评论者把它看作比思维链(Chain of Thought)更进一步的方向,也拿它作为「模型先输出一段不外露的思考 token 再回答」这类做法的公开例子。
方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1Transformer 语言模型
2思维链提示(chain-of-thought)
3STaR 自学推理方法
4强化学习与策略梯度(REINFORCE)
5teacher forcing
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及推荐snats · 2024-03
称这方法比 Chain of Thought 更好,是朝正确方向迈出的一步
引用visarga · 2024-03
“The process is then extended to multiple supporting thoughts by ingeniously masking cross-attention between thoughts to ensure their independence.”
概述其做法:屏蔽思考之间的交叉注意力,使多条支撑性思考相互独立
引用rfdearborn · 2024-04
“e.g., this recent Quiet-STaR paper in which the model outputs throwaway rationale tokens:”
举 Quiet-STaR 为例:模型先输出丢弃的推理 token
引用FeepingCreature · 2024-05
“let it be QuietSTaR”
提议用 Quiet-STaR 作为让模型多思考的一种选择
引用trashtester · 2024-08
“It seems to be related to the DeepMind reference in [1] and most of [2].”
认为它与 DeepMind 的相关参考相关,是推理训练变体的公开例子
被提交为 story · 1 次
- Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking ↗hackerlight · 2024-03-15 · 280 分