推荐gwern · 2022-03
“today another great paper dropped on self-distillation”
称这是今天新出的一篇关于自蒸馏的好论文
让模型用自己生成且答对的推理链不断微调自己
思维链推理能提升语言模型在数学、常识问答等复杂推理任务上的表现,但要让模型会生成推理,要么构造大规模推理数据集,要么只用少样本推断而牺牲准确率。论文提出“自学推理者”(STaR):用少量推理示例和大量没有推理的数据,迭代引导出更复杂的推理能力。循环很简单:用少量示例提示模型为许多问题生成推理;答错的再给出正确答案重新生成推理;用最终得出正确答案的所有推理微调;重复。结果显示 STaR 在多个数据集上显著优于直接预测答案的微调,并在 CommonsenseQA 上与微调大 30 倍的最先进模型相当。
HN 上的人把它当作模型靠自身生成的推理自我改进、无需新数据的例子,并猜测它与后来推理模型(如 OpenAI 的 Strawberry)的训练方法有关。
“today another great paper dropped on self-distillation”
“This is a good read for some examples STaR”
“Thus, STaR lets a [AI] model improve itself by learning from its own generated reasoning*.”
“Self improvement without new data, like STaR STaR”
“there has been speculation this is down to the star method being used for training newer models”
“related to STaR.”