按年被提到
20222023 · 8 次2026
大模型与语言模型›大模型推理与思维链·arXiv:2210.11610 · cs.CL

Large Language Models Can Self-Improve

大语言模型可以自我改进
Jiaxin Huang, Shixiang Shane Gu, Le Hou, Yuexin Wu, Xuezhi Wang, Hongkun Yu, Jiawei Han · 2022

用 CoT 与自洽性生成高置信度答案并自我微调,无需标签即可提升推理

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 9 人首次 2022-11-01 · 最近 2023-05-09
9不同的人
5活跃月份
9讨论串
321被引(OpenAlex)

论文表明 LLM 可以仅靠无标签数据集自我改进:用预训练 LLM 借助思维链(Chain-of-Thought)提示和自洽性,为无标签问题生成高置信度的带推理过程的答案,再把这些自生成的解答作为目标输出来微调同一个模型。在 5400 亿参数的 LLM 上,GSM8K 从 74.4% 提升到 82.1%,DROP 从 78.2% 到 83.0%,OpenBookQA 从 90.0% 到 94.4%,ANLI-A3 从 63.4% 到 67.9%,达到最先进水平且无需任何真实标签;消融实验表明在推理上微调对自我改进至关重要。

HN 为什么提它

HN 上的人把它作为 LLM 可以通过在自己的高置信度输出上训练来改进的例子,用来讨论模型自我改进是否可行。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1大语言模型与思维链(Chain-of-Thought)提示
2自洽性(self-consistency)解码
3监督微调(fine-tuning)
4推理基准(GSM8K 等)

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我建立大语言模型的少样本能力、思维链推理、自洽性,以及用自生成推理链微调模型的思路,这些是自我改进方法的组成部分。

  1. 1
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    提示学习和少样本能力的基础。

    读少样本示例放进提示里的上下文学习机制。

  2. 2
    Chain-of-Thought Prompting Elicits Reasoning in Large Language Models思维链提示激发大语言模型的推理能力 · 2022

    目标论文用 CoT 提示生成推理过程。

    读思维链示例如何构造,以及推理能力随模型规模出现。

  3. 3
    Large Language Models are Zero-Shot Reasoners大语言模型是零样本推理者 · 2022

    展示不加示例也能触发逐步推理,用于理解 CoT 在无标签场景下的用法。

    读「让我们一步步思考」这类触发句的做法。

  4. 4
    Self-Consistency Improves Chain of Thought Reasoning in Language Models自洽性提升语言模型的思维链推理 · 2022

    目标论文用自洽性筛选高置信度答案,核心就是这篇。

    读采样多条推理路径再多数表决的做法。

  5. 5
    STaR: Bootstrapping Reasoning With ReasoningSTaR:用推理引导推理 · 2022

    同样是用模型自己生成的推理链微调自己,是最接近的前作。

    读只保留答对的推理链,并反复微调的循环;对比目标论文不需要真实标签。

  6. 6
    PaLM: Scaling Language Modeling with PathwaysPaLM:用 Pathways 扩展语言模型 · 2022

    目标论文使用的基础模型是 PaLM 540B。

    读模型规模、训练设置与推理任务上的表现,只需大致了解。

  7. 7
    Large Language Models Can Self-Improve大语言模型可以自我改进 · 2022 · 就是这篇

    目标论文:无标签数据上用 CoT 加自洽性生成答案并微调。

    读高置信度推理链的筛选方式,以及混合多种格式微调的做法。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用visarga · 2023-01

“Like this one: Large Language Models Can Self Improve”

举它为用 LLM 自己的输出训练 LLM 的例子
ChatGPT Can't Kill Anything Worth Preserving原评论 ↗
引用vacuumcl · 2023-02

“There are ways that LLM's can self-improve, such as in this paper: Large Language Models Can Self-Improve”

举它为 LLM 能自我改进的例子
Exclusive Q&A John Carmack’s ‘Different Path’ to Artificial General Intelligence原评论 ↗
引用valine · 2023-02

“There is evidence to suggest that LLMs have recently passed a threshold where their performance can be improved by training on their own output.”

引它说明 LLM 已能通过在自己的输出上训练来提升表现
Are we racing toward AI catastrophe?原评论 ↗
引用jbenjoseph · 2023-02

“I have seen no evidence for that, only the opposite: Large Language Models Can Self-Improve”

回应说没见过证据,只见过相反的,并贴出此文
Eventually ChatGPT will eat itself原评论 ↗
引用kzrdude · 2023-03

“Maybe this? Large Language Models Can Self-Improve”

猜测它可能是相关的 LLM 无监督自我改进工作
GPT-3 will ignore tools when it disagrees with them原评论 ↗
引用taneq · 2023-05

“"Large Language Models Can Self-Improve" describes something similar, increasing an LLM's performance by fine tuning it on its own 'high confidence' answers.”

引它说明在自己的高置信答案上微调可提升 LLM 表现
Constitutional AI: RLHF on Steroids原评论 ↗
被提交为 story · 3 次