按年被提到
20212021 · 5 次2026
AI 安全、伦理与社会影响›AI 的经济与社会影响·arXiv:2108.07258 · cs.LG

On the Opportunities and Risks of Foundation Models

论基础模型的机遇与风险
Rishi Bommasani, Drew A. Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S. Bernstein, Jeannette Bohg, Antoine Bosselut, Emma Brunskill, Erik Brynjolfsson, Shyamal Buch 等 114 人 · 2021

系统梳理基础模型能力、应用与社会影响的长篇报告

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 9 人首次 2021-08-17 · 最近 2024-07-27
9不同的人
4活跃月份
9讨论串
5,831被引(OpenAlex)

报告全面论述以 BERT、DALL-E、GPT-3 为代表、在广泛数据上大规模训练并可适配众多下游任务的「基础模型」,涵盖能力(语言、视觉、机器人、推理、人机交互)、技术原理(架构、训练、数据、系统、安全、评测、理论)、应用(法律、医疗、教育)和社会影响。规模带来涌现能力和同质化:同质化提供强大杠杆,但基础模型的缺陷会被所有下游模型继承;作者认为相关关键研究需要深入的跨学科合作。

HN 为什么提它

仅有的提及是有人推荐略读这篇篇幅很长但通俗易懂的综述,作为了解基础模型的入门材料。

综述难度 2 / 5约 480 分钟经得起时间
读之前最好知道
1深度学习与迁移学习基础
2BERT、GPT-3 等预训练模型
3AI 伦理与社会影响

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先补 Transformer、预训练、缩放和多模态这几块基础,再读基础模型报告,便于看懂报告里各章在谈什么。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    几乎所有基础模型的架构都建立在 Transformer 上,报告的架构章节以它为前提。

    读自注意力与编码器-解码器结构的概念;不必深究实验表格。

  2. 2
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    报告开头点名的 BERT,代表预训练加微调、适配下游任务这一范式。

    读掩码语言模型预训练目标,以及一个输出层即可微调下游任务的思路。

  3. 3
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    GPT-3 展示了规模带来的上下文学习与涌现能力,是报告能力章节的核心参照。

    读few-shot、one-shot、zero-shot 的设定及随规模变化的曲线。

  4. 4
    Scaling Laws for Neural Language Models神经语言模型的缩放定律 · 2020

    报告谈规模与系统时依赖的经验规律:损失随参数、数据、算力按幂律下降。

    读三个变量与损失的幂律关系,以及算力最优分配的结论。

  5. 5
    An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale一张图胜过 16x16 个词:大规模图像识别中的 Transformer · 2020

    说明 Transformer 如何走出文本,进入视觉,对应报告的视觉与多模态部分。

    读把图像切成图块当作 token 的做法;预训练规模与效果的关系。

  6. 6
    Learning Transferable Visual Models From Natural Language Supervision从自然语言监督中学习可迁移的视觉模型 · 2021

    CLIP 是图文对齐、零样本迁移的代表,对应报告的多模态与应用讨论。

    读图文对比预训练目标和零样本分类的做法。

  7. 7
    On the Opportunities and Risks of Foundation Models论基础模型的机遇与风险 · 2021 · 就是这篇

    把上面各项能力、原理与社会影响放进同一个框架来讨论。

    读先读引言里对 foundation model 与 emergence、homogenization 的定义,再按兴趣挑能力、原理、应用、社会影响各章。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐bravura · 2023-01

“I encourage you to skim this paper. It's long but very accessible: On the Opportunities and Risks of Foundation Models”

推荐略读这篇论文,虽然很长但通俗易懂
Large Transformer Model Inference Optimization原评论 ↗
被提交为 story · 8 次