按年被提到
20232023 · 6 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2305.02301 · cs.CL

Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes

逐步蒸馏:用更少训练数据和更小模型胜过更大的语言模型
Cheng-Yu Hsieh, Chun-Liang Li, Chih-Kuan Yeh, Hootan Nakhost, Yasuhisa Fujii, Alexander Ratner, Ranjay Krishna, Chen-Yu Lee, Tomas Pfister · 2023

提取 LLM 推理依据作额外监督,小模型胜大模型

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2023-05-04 · 最近 2025-01-28发表于 Findings of the Association for Computational Linguistics: ACL (Findings of ACL)
5不同的人
4活跃月份
7讨论串
317被引(OpenAlex)

论文提出「逐步蒸馏」:从 LLM 中提取推理依据(rationale)作为额外监督,以多任务框架训练小模型。在 4 个 NLP 基准上,它用比微调和蒸馏少得多的数据取得更好效果,并以小得多的模型超过少样本提示的 LLM;例如 7.7 亿参数的 T5 在某基准上仅用 80% 数据就超过少样本提示的 5400 亿参数 PaLM。

HN 为什么提它

评论者用它说明可以把 LLM 蒸馏成任务专用的小模型,并作为「微调仍然有效」「用 LLM 训练小模型」的实例。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1知识蒸馏(knowledge distillation)
2思维链提示(chain-of-thought prompting)
3模型微调(fine-tuning)
4T5 与编码器-解码器模型

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
强烈推荐chaxor · 2023-05

“This paper is quite fantastic, and will likely shape up to be a quite important glue task for LLM models to generate.”

强烈推荐:称这篇论文很棒,可能成为让 LLM 生成数据的重要粘合任务
RedPajama (Open LLaMA Replication) 3B and 7B models released原评论 ↗
引用sanxiyn · 2023-05

“No, distilling step-by-step Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes distills LLM to task specific model.”

纠正说逐步蒸馏是把 LLM 蒸馏成针对特定任务的小模型
PaLM 2 Technical Report [pdf]原评论 ↗
引用chaxor · 2023-05

“Yes, and in fact that's the best method available if you want good performance.”

称这确实是想要好性能时最好的方法:把 LLM 的标签和推理依据蒸馏进小模型
How to Finetune GPT Like Large Language Models on a Custom Dataset原评论 ↗
引用jph00 · 2023-07

“Here's an example of a paper that shows good results from fine-tuning for instance:”

举这篇论文为例,说明微调仍能取得好结果
引用verdverm · 2023-12

“i.e. master teaches apprentice or LLM trains SLM”

把它概括为师傅教徒弟,即 LLM 训练小模型
Phi-2: The surprising power of small language models原评论 ↗
引用m00x · 2025-01

“Model distillation has been a thing for over a decade, and LLM distillation has been widespread since 2023 [1].”

引用它作为例子:模型蒸馏已有十多年,LLM 蒸馏自 2023 年起就很普遍
Nvidia’s $589B DeepSeek rout原评论 ↗
被提交为 story · 1 次