引用espadrine · 2022-10
“papers show that various finetuning techniques achieve significant gains”
引它说明各种微调技术能带来显著提升
扩大任务数、模型规模并加入思维链数据的指令微调(Flan)
论文研究指令微调,重点是扩大任务数量、扩大模型规模,以及加入思维链(chain-of-thought)数据。作者发现这些做法能显著提升 PaLM、T5、U-PaLM 在零样本、少样本、CoT 设置以及 MMLU、BBH 等基准上的表现,例如在 1.8K 个任务上微调的 Flan-PaLM 540B 比 PaLM 540B 平均高 9.4%,五样本 MMLU 达到 75.2%。作者还公开了 Flan-T5 检查点,其少样本表现可与大得多的模型相比。
评论者用它说明指令微调带来显著收益、Flan-T5 是一个具体的开源模型,并以 Flan-PaLM 的 MMLU 成绩反驳“ChatGPT 是最强 LLM”的说法。
“papers show that various finetuning techniques achieve significant gains”
“11B parameters, so I guess it's FLAN-T5[1]?”
“For example, text-davinci-3 is 56.9 on MMLU, Flan-Palm is 75.”
“And Again, chatGPT was not the general SOTA LLM. Scaling Instruction-Finetuned Language Models”