按年被提到
20202020 · 6 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2009.07118 · cs.CL

It's Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners

不只是规模重要:小型语言模型同样是少样本学习者
Timo Schick, Hinrich Schütze · 2020

用完形填空式提示加微调,让小模型达到接近 GPT-3 的少样本表现

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 7 人首次 2020-09-22 · 最近 2021-03-08
7不同的人
3活跃月份
6讨论串
788被引(OpenAlex)

GPT-3 这类上千亿参数的预训练模型有出色的少样本能力,但训练和使用耗费大量算力,碳足迹大。论文表明,参数量小几个数量级的“更绿色”的语言模型也可获得类似 GPT-3 的表现:把文本输入转换为含任务描述的完形填空问题,并配合基于梯度的优化,再利用无标注数据可获得进一步提升。作者还指出了小模型实现成功自然语言理解所需的关键因素。

HN 为什么提它

HN 上的人引用它(PET 一类方法)说明小模型也能接近 GPT-3 的少样本表现;评论还提醒哪些结果才是真正的少样本、哪些用了半监督数据。

方法难度 3 / 5约 35 分钟有时效性
读之前最好知道
1预训练语言模型(BERT、GPT-3)
2少样本学习(few-shot learning)
3完形填空式提示(cloze prompt)
4半监督学习

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你先理解预训练语言模型和 GPT-3 的少样本能力与资源代价,再读用小模型做到接近效果的方法。

  1. 1
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    目标方法依赖掩码语言模型,把任务改写成完形填空正是利用了这种预训练。

    读掩码语言模型预训练目标。

  2. 2
    RoBERTa: A Robustly Optimized BERT Pretraining ApproachRoBERTa:稳健优化的 BERT 预训练方法 · 2019

    对 BERT 预训练的改进,属于作为小模型可用的预训练模型家族。

    读预训练设置的改进,以及它与 BERT 的差异。

  3. 3
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    GPT-3 的少样本表现是目标论文要对标的结果。

    读few-shot 的设定和主要任务上的结果。

  4. 4
    Energy and Policy Considerations for Deep Learning in NLP深度学习用于 NLP 的能耗与政策考量 · 2019

    说明大模型的能耗与成本,是文中强调小模型更环保的动机。

    读训练成本与碳排放的估算部分。

  5. 5
    It's Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners不只是规模重要:小型语言模型同样是少样本学习者 · 2020 · 就是这篇

    用完形填空式提示加微调,使小模型达到接近 GPT-3 的少样本表现。

    读把输入改写成完形填空的 pattern 与 verbalizer,以及用无标注数据的迭代做法。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐m3at · 2020-10

“If you want to read the source, I recommend skipping to their follow-up paper (same authors): It's Not Just Size That Matters”

建议想读源头就跳到同作者的后续论文,作为小模型少样本学习的出处
AI training method exceeds GPT-3 performance with fewer parameters原评论 ↗
引用andreyk · 2020-09

“see eg this recent paper that achieves similar results with a bit more data It's Not Just Size That Matters”

举例说明小模型用稍多数据就能达到类似 GPT-3 的少样本结果
Microsoft gets exclusive license for OpenAI’s GPT-3 language model原评论 ↗
引用polymorph1sm · 2020-09

“I recently found this paper[1] claiming near GPT-3 performance with only a fraction of parameters.”

引用它称小模型用远少于 GPT-3 的参数就接近其性能
Advancing NLP with Efficient Projection-Based Model Architectures原评论 ↗
引用Veedrac · 2020-10

“The true few-shot results are in a few places in the paper, It's Not Just Size That Matters, labeled with '- dist'.”

指出论文中真正的少样本结果标有“- dist”,区别于半监督结果
AI training method exceeds GPT-3 performance with fewer parameters原评论 ↗
被提交为 story · 3 次