按年被提到
20242024 · 6 次2026
大模型与语言模型›大模型推理与思维链·arXiv:2403.09629 · cs.CL

Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking

Quiet-STaR:语言模型可以自学在说话前先思考
Eric Zelikman, Georges Harik, Yijia Shao, Varuna Jayasiri, Nick Haber, Noah D. Goodman · 2024

让语言模型在每个 token 处自学生成内部推理再作预测

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 6 人首次 2024-03-15 · 最近 2024-08-28
6不同的人
4活跃月份
6讨论串
58被引(OpenAlex)

Quiet-STaR 是 STaR 的推广:让语言模型在任意文本的每个 token 处生成理由(rationale)来解释后续内容,从而改进预测。为解决生成续写开销大、模型起初不会用内部思考、需预测多个 token 之后等难题,作者提出逐 token 并行采样、用可学习的起止标记表示思考,以及扩展的 teacher forcing。在互联网文本上继续预训练后,零样本 GSM8K 从 5.9% 升至 10.9%,CommonsenseQA 从 36.3% 升至 47.2%,且无需在这些任务上微调。

HN 为什么提它

评论者把它看作比思维链(Chain of Thought)更进一步的方向,也拿它作为「模型先输出一段不外露的思考 token 再回答」这类做法的公开例子。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1Transformer 语言模型
2思维链提示(chain-of-thought)
3STaR 自学推理方法
4强化学习与策略梯度(REINFORCE)
5teacher forcing

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐snats · 2024-03

“This method is better than Chain of Thought and I think is a step in the right direction.”

称这方法比 Chain of Thought 更好,是朝正确方向迈出的一步
Can Demis Hassabis save Google?原评论 ↗
引用visarga · 2024-03

“The process is then extended to multiple supporting thoughts by ingeniously masking cross-attention between thoughts to ensure their independence.”

概述其做法:屏蔽思考之间的交叉注意力,使多条支撑性思考相互独立
How Chain-of-Thought Reasoning Helps Neural Networks Compute原评论 ↗
引用rfdearborn · 2024-04

“e.g., this recent Quiet-STaR paper in which the model outputs throwaway rationale tokens:”

举 Quiet-STaR 为例:模型先输出丢弃的推理 token
Mixture-of-Depths: Dynamically allocating compute in transformers原评论 ↗
引用FeepingCreature · 2024-05

“let it be QuietSTaR”

提议用 Quiet-STaR 作为让模型多思考的一种选择
The "Chain of Thought" Delusions原评论 ↗
引用trashtester · 2024-08

“It seems to be related to the DeepMind reference in [1] and most of [2].”

认为它与 DeepMind 的相关参考相关,是推理训练变体的公开例子
OpenAI shows 'Strawberry' to feds, races to launch it原评论 ↗
被提交为 story · 1 次