按年被提到
20222022 · 12 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2204.02311 · cs.CL

PaLM: Scaling Language Modeling with Pathways

PaLM:用 Pathways 扩展语言模型
Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi 等 67 人 · 2022

5400 亿参数稠密 Transformer,少样本能力随规模跃升

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 15 人首次 2022-04-09 · 最近 2023-05-24
15不同的人
9活跃月份
15讨论串
3,440被引(OpenAlex)

作者用 Pathways 系统在 6144 块 TPU v4 上训练了 5400 亿参数的稠密 Transformer 语言模型 PaLM,在数百个语言理解与生成基准上取得少样本学习的最优结果。在一批多步推理任务上它超过了微调的最优水平,在 BIG-bench 上超过人类平均水平,许多任务随模型规模出现不连续的跃升;论文还分析了偏见与毒性、不同规模下的训练数据记忆,并讨论伦理问题。

HN 为什么提它

评论者用它说明规模带来的惊人能力,常引用其中解释笑话、回答文化梗的例子,以及训练 token 数、与 LaMDA 的对比等细节。

实证研究难度 3 / 5约 90 分钟有时效性
读之前最好知道
1Transformer 解码器语言模型
2少样本提示(few-shot prompting)
3缩放定律(scaling laws)
4TPU 与分布式训练

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐londons_explore · 2022-05

“Worth checking out the explanations of novel jokes on page 38 of the same paper.”

推荐看同一篇论文第 38 页对新笑话的解释
Imagen, a text-to-image diffusion model原评论 ↗
引用moconnor · 2022-04

“their performance continues to surprise us as they scale[2].”

引用它说明模型规模扩大后,表现不断带来惊喜
Socratic Models – Composing Zero-Shot Multimodal Reasoning with Language原评论 ↗
引用timpetri · 2022-04

“The PaLM paper[1] says it made use of 700B tokens.”

指出 PaLM 论文称用了 700B token
Estimating PaLM's Training Cost原评论 ↗
引用upwardbound · 2022-06

“And then looking at the PaLM paper PaLM on page 5 we have:”

引用论文第 5 页:PaLM 是只关注过去 token 的 decoder-only Transformer
LaMDA is not sentient原评论 ↗
引用the8472 · 2022-07

“Check section 7 of the PaLM paper for example.”

指向论文第 7 节,其中有对训练数据的标准过拟合测试
Are language models deprived of electric sleep?原评论 ↗
引用zone411 · 2022-10

“Note: 540B parameters -> Google Research's PaLM.”

说明 540B 参数的模型指 Google Research 的 PaLM,作背景补充
Large Language Models Can Self-Improve原评论 ↗
看全部 13 条 →
引用1024core · 2022-10

“examples on Page 36 of the paper: PaLM and tell me if it's just”

引用论文第 36 页对笑话的解释,反驳那是胡扯的说法
AI language models are struggling to “get” math原评论 ↗
引用joseda-hg · 2022-11

“I believe we're already at the footsteps of AI understanding cultural references”

用 PaLM 回答文化典故谜语的例子,说明 AI 已接近能理解文化引用
The elite, underpaid, and weird world of crossword writers原评论 ↗
引用nl · 2022-12

“Work such as PaLM[2] show that language models evolve the ability to "reason" over the internal data representation.”

引用 PaLM 作为证据:语言模型会演化出对内部数据表示进行“推理”的能力
Building a Virtual Machine Inside ChatGPT原评论 ↗
引用nopinsight · 2023-03

“PaLM itself is probably quite a bit better than LamDa in several tasks, according to a chart and a couple of tables here: PaLM”

指出论文里的图表显示 PaLM 在多项任务上大概明显优于 LaMDA
Bing sees 15.8% boost in visits following GPT-4 push, as Google sees a decline原评论 ↗
引用nopinsight · 2023-03

“PaLM itself is probably quite a bit better than LamDa in several tasks, according to a chart and a couple of tables here: PaLM”

指出论文里的图表显示 PaLM 在多项任务上大概明显优于 LaMDA
引用og_kalu · 2023-05

“You can look at any training run comparing multiple parameter sizes on the dataset.”

指出看任何对比多种参数规模的训练运行即可知,更大的模型达到同样性能所需数据更少
StarCoder and StarCoderBase: 15.5B parameter models with 8K context length原评论 ↗
引用godelski · 2023-05

“Btw, PALM2 has far fewer parameters than V1.”

补充说明 PaLM 2 的参数量远少于初代 PaLM
Meta AI Unleashes Megabyte, a Revolutionary Scalable Model Architecture原评论 ↗
被提交为 story · 3 次