按年被提到
20212023 · 2 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2112.11446 · cs.CL

Scaling Language Models: Methods, Analysis & Insights from Training Gopher

扩展语言模型:训练 Gopher 的方法、分析与启示
Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, Eliza Rutherford, Tom Hennigan 等 80 人 · 2021

Gopher:2800 亿参数语言模型的规模效应与多任务评测

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2022-05-11 · 最近 2023-12-16
3不同的人
3活跃月份
3讨论串
614被引(OpenAlex)

论文分析了基于 Transformer 的语言模型在不同规模下的表现,规模从数千万参数直到 2800 亿参数的 Gopher,并在 152 个任务上评测,多数任务达到当时最优。规模带来的增益在阅读理解、事实核查和毒性语言识别上最大,而逻辑与数学推理的收益较小。论文还分析了训练数据集与模型行为,涵盖规模与偏见、毒性的交叉,并讨论了语言模型在 AI 安全和缓解下游危害上的应用。

HN 为什么提它

评论者引用它的附录 G(第 103 页),说明剪枝和蒸馏难以在更少参数下有效降低 loss;另有人在谈 AI 在常识推理上仍落后于人类时引用它。

实证研究难度 3 / 5约 90 分钟有时效性
读之前最好知道
1Transformer 语言模型
2缩放定律(scaling laws)
3语言模型评测基准
4模型偏见与毒性评估

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐renonce · 2023-12

“has captured it well on page 103, Appendix G:”

指出这篇论文附录 G(第 103 页)说清了:剪枝和蒸馏难以有效降低参数量下的 loss
Do large language models need all those layers?原评论 ↗
引用tbonza · 2022-05

“I continue to see benchmarks where human expertise significantly outperforms AI on common sense reasoning tasks (most recently Scaling Language Models).”

引用最近的基准,说明在常识推理任务上人类仍明显胜过 AI
BERTopic: The Future of Topic Modeling原评论 ↗
被提交为 story · 1 次