按年被提到
20222022 · 3 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2210.11416 · cs.LG

Scaling Instruction-Finetuned Language Models

扩展指令微调语言模型
Hyung Won Chung, Le Hou, Shayne Longpre, Barret Zoph, Yi Tay, William Fedus, Yunxuan Li, Xuezhi Wang, Mostafa Dehghani, Siddhartha Brahma, Albert Webson, Shixiang Shane Gu 等 35 人 · 2022

扩大任务数、模型规模并加入思维链数据的指令微调(Flan)

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2022-10-26 · 最近 2023-05-09
4不同的人
4活跃月份
5讨论串
2,361被引(OpenAlex)

论文研究指令微调,重点是扩大任务数量、扩大模型规模,以及加入思维链(chain-of-thought)数据。作者发现这些做法能显著提升 PaLM、T5、U-PaLM 在零样本、少样本、CoT 设置以及 MMLU、BBH 等基准上的表现,例如在 1.8K 个任务上微调的 Flan-PaLM 540B 比 PaLM 540B 平均高 9.4%,五样本 MMLU 达到 75.2%。作者还公开了 Flan-T5 检查点,其少样本表现可与大得多的模型相比。

HN 为什么提它

评论者用它说明指令微调带来显著收益、Flan-T5 是一个具体的开源模型,并以 Flan-PaLM 的 MMLU 成绩反驳“ChatGPT 是最强 LLM”的说法。

方法难度 3 / 5约 60 分钟经得起时间
读之前最好知道
1预训练语言模型(如 T5、PaLM)
2指令微调(instruction tuning)
3思维链提示(chain-of-thought prompting)
4少样本与零样本评测(MMLU 等)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用espadrine · 2022-10

“papers show that various finetuning techniques achieve significant gains”

引它说明各种微调技术能带来显著提升
GPT-3 can create both sides of an Interactive Fiction transcript原评论 ↗
引用lossolo · 2022-12

“11B parameters, so I guess it's FLAN-T5[1]?”

猜 11B 参数的模型是不是 FLAN-T5
Show HN: Web search using a ChatGPT-like model that can cite its sources原评论 ↗
引用og_kalu · 2023-02

“For example, text-davinci-3 is 56.9 on MMLU, Flan-Palm is 75.”

引它说明 Flan-PaLM 的 MMLU 为 75,高于 text-davinci-3 的 56.9
Open source implementation for LLaMA-based ChatGPT原评论 ↗
引用og_kalu · 2023-05

“And Again, chatGPT was not the general SOTA LLM. Scaling Instruction-Finetuned Language Models”

引它说明 ChatGPT 并不是通用最强的 LLM
Giving GPT “Infinite” Knowledge原评论 ↗
被提交为 story · 1 次