按年被提到
20222024 · 4 次2026
大模型与语言模型›大模型推理与思维链·arXiv:2203.14465 · cs.LG

STaR: Bootstrapping Reasoning With Reasoning

STaR:用推理引导推理
Eric Zelikman, Yuhuai Wu, Jesse Mu, Noah D. Goodman · 2022

让模型用自己生成且答对的推理链不断微调自己

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2022-03-30 · 最近 2024-12-22
5不同的人
5活跃月份
6讨论串
248被引(OpenAlex)

思维链推理能提升语言模型在数学、常识问答等复杂推理任务上的表现,但要让模型会生成推理,要么构造大规模推理数据集,要么只用少样本推断而牺牲准确率。论文提出“自学推理者”(STaR):用少量推理示例和大量没有推理的数据,迭代引导出更复杂的推理能力。循环很简单:用少量示例提示模型为许多问题生成推理;答错的再给出正确答案重新生成推理;用最终得出正确答案的所有推理微调;重复。结果显示 STaR 在多个数据集上显著优于直接预测答案的微调,并在 CommonsenseQA 上与微调大 30 倍的最先进模型相当。

HN 为什么提它

HN 上的人把它当作模型靠自身生成的推理自我改进、无需新数据的例子,并猜测它与后来推理模型(如 OpenAI 的 Strawberry)的训练方法有关。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1思维链提示(chain-of-thought)
2语言模型微调
3少样本提示(few-shot prompting)
4自举(bootstrapping)与自蒸馏

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐gwern · 2022-03

“today another great paper dropped on self-distillation”

称这是今天新出的一篇关于自蒸馏的好论文
GPT-3 can run code原评论 ↗
推荐viraptor · 2024-12

“This is a good read for some examples STaR”

推荐一读,里面有不少示例
GPT-5 is behind schedule原评论 ↗
引用peter_d_sherman · 2023-12

“Thus, STaR lets a [AI] model improve itself by learning from its own generated reasoning*.”

概括 STaR:模型靠学习自己生成的推理来自我改进
What Is Q*? [video]原评论 ↗
引用viraptor · 2024-07

“Self improvement without new data, like STaR STaR”

举 STaR 为例,说明无需新数据的自我改进
AI firms will soon exhaust most of the internet's data原评论 ↗
引用seanhunter · 2024-08

“there has been speculation this is down to the star method being used for training newer models”

提到有推测认为新模型的表现源于用了 STaR 方法训练
Grok-2 Beta Release原评论 ↗
引用krackers · 2024-08

“related to STaR.”

指出它可能与 OpenAI 的 Strawberry 有关
The Threat to OpenAI原评论 ↗