“I encourage you to skim this paper. It's long but very accessible: On the Opportunities and Risks of Foundation Models”
按年被提到
20212021 · 5 次2026
On the Opportunities and Risks of Foundation Models
论基础模型的机遇与风险
Rishi Bommasani, Drew A. Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S. Bernstein, Jeannette Bohg, Antoine Bosselut, Emma Brunskill, Erik Brynjolfsson, Shyamal Buch 等 114 人 · 2021
系统梳理基础模型能力、应用与社会影响的长篇报告
被推荐 · 9 人首次 2021-08-17 · 最近 2024-07-27
9不同的人
4活跃月份
9讨论串
5,831被引(OpenAlex)
报告全面论述以 BERT、DALL-E、GPT-3 为代表、在广泛数据上大规模训练并可适配众多下游任务的「基础模型」,涵盖能力(语言、视觉、机器人、推理、人机交互)、技术原理(架构、训练、数据、系统、安全、评测、理论)、应用(法律、医疗、教育)和社会影响。规模带来涌现能力和同质化:同质化提供强大杠杆,但基础模型的缺陷会被所有下游模型继承;作者认为相关关键研究需要深入的跨学科合作。
HN 为什么提它
仅有的提及是有人推荐略读这篇篇幅很长但通俗易懂的综述,作为了解基础模型的入门材料。
综述难度 2 / 5约 480 分钟经得起时间
读之前最好知道
1深度学习与迁移学习基础
2BERT、GPT-3 等预训练模型
3AI 伦理与社会影响
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先补 Transformer、预训练、缩放和多模态这几块基础,再读基础模型报告,便于看懂报告里各章在谈什么。
- 1
- 2
报告开头点名的 BERT,代表预训练加微调、适配下游任务这一范式。
读掩码语言模型预训练目标,以及一个输出层即可微调下游任务的思路。
- 3
GPT-3 展示了规模带来的上下文学习与涌现能力,是报告能力章节的核心参照。
读few-shot、one-shot、zero-shot 的设定及随规模变化的曲线。
- 4
- 5
说明 Transformer 如何走出文本,进入视觉,对应报告的视觉与多模态部分。
读把图像切成图块当作 token 的做法;预训练规模与效果的关系。
- 6
CLIP 是图文对齐、零样本迁移的代表,对应报告的多模态与应用讨论。
读图文对比预训练目标和零样本分类的做法。
- 7On the Opportunities and Risks of Foundation Models
把上面各项能力、原理与社会影响放进同一个框架来讨论。
读先读引言里对 foundation model 与 emergence、homogenization 的定义,再按兴趣挑能力、原理、应用、社会影响各章。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及推荐bravura · 2023-01
推荐略读这篇论文,虽然很长但通俗易懂
被提交为 story · 8 次
- On the Opportunities and Risks of Foundation Models ↗MAXPOOL · 2021-08-17 · 4 分
- On the Opportunities and Risks of Foundation Models ↗Anon84 · 2021-08-18 · 3 分
- On the Opportunities and Risks of Foundation Models ↗sebg · 2021-08-19 · 2 分
- On the Opportunities and Risks of Foundation Models ↗cl42 · 2021-08-19 · 2 分
- On the Opportunities and Risks of Foundation Models ↗satorii · 2021-08-23 · 20 分
- On the opportunities and risks of foundation AI models ↗ignoramous · 2023-01-16 · 1 分