“Like this one: Large Language Models Can Self Improve”
Large Language Models Can Self-Improve
用 CoT 与自洽性生成高置信度答案并自我微调,无需标签即可提升推理
论文表明 LLM 可以仅靠无标签数据集自我改进:用预训练 LLM 借助思维链(Chain-of-Thought)提示和自洽性,为无标签问题生成高置信度的带推理过程的答案,再把这些自生成的解答作为目标输出来微调同一个模型。在 5400 亿参数的 LLM 上,GSM8K 从 74.4% 提升到 82.1%,DROP 从 78.2% 到 83.0%,OpenBookQA 从 90.0% 到 94.4%,ANLI-A3 从 63.4% 到 67.9%,达到最先进水平且无需任何真实标签;消融实验表明在推理上微调对自我改进至关重要。
HN 上的人把它作为 LLM 可以通过在自己的高置信度输出上训练来改进的例子,用来讨论模型自我改进是否可行。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我建立大语言模型的少样本能力、思维链推理、自洽性,以及用自生成推理链微调模型的思路,这些是自我改进方法的组成部分。
- 1
- 2
目标论文用 CoT 提示生成推理过程。
读思维链示例如何构造,以及推理能力随模型规模出现。
- 3
展示不加示例也能触发逐步推理,用于理解 CoT 在无标签场景下的用法。
读「让我们一步步思考」这类触发句的做法。
- 4
目标论文用自洽性筛选高置信度答案,核心就是这篇。
读采样多条推理路径再多数表决的做法。
- 5
同样是用模型自己生成的推理链微调自己,是最接近的前作。
读只保留答对的推理链,并反复微调的循环;对比目标论文不需要真实标签。
- 6
- 7Large Language Models Can Self-Improve
目标论文:无标签数据上用 CoT 加自洽性生成答案并微调。
读高置信度推理链的筛选方式,以及混合多种格式微调的做法。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“There are ways that LLM's can self-improve, such as in this paper: Large Language Models Can Self-Improve”
“There is evidence to suggest that LLMs have recently passed a threshold where their performance can be improved by training on their own output.”
“I have seen no evidence for that, only the opposite: Large Language Models Can Self-Improve”
“Maybe this? Large Language Models Can Self-Improve”
“"Large Language Models Can Self-Improve" describes something similar, increasing an LLM's performance by fine tuning it on its own 'high confidence' answers.”
- Large Language Models Can Self-Improve ↗telotortium · 2022-11-01 · 3 分
- Large language models can self-improve ↗azhenley · 2023-02-05 · 2 分
- Large Language Models Can Self-Improve ↗ta_u · 2023-02-12 · 1 分