按年被提到
20232023 · 7 次2026
大模型与语言模型›模型表达力与计算理论·arXiv:2311.00871 · cs.LG

Pretraining Data Mixtures Enable Narrow Model Selection Capabilities in Transformer Models

预训练数据混合使 Transformer 具备窄域模型选择能力
Steve Yadlowsky, Lyric Doshi, Nilesh Tripuraneni · 2023

上下文学习能力主要取决于预训练数据覆盖,域外外推会失败

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2023-11-06 · 最近 2025-06-15
5不同的人
4活跃月份
9讨论串
19被引(OpenAlex)

在受控设置下,用 (x, f(x)) 序列而非自然语言训练 Transformer,研究其如何在预训练数据混合的多个任务族之间做上下文识别与学习。结果显示任务族在预训练数据中有充分覆盖时,Transformer 表现出接近最优的无监督模型选择能力;但遇到域外任务或函数时,即使是简单外推也会出现多种失败模式。作者据此认为上下文学习能力与预训练数据覆盖的关系,比与基本泛化归纳偏置的关系更紧密。

HN 为什么提它

HN 上的人反复引用它作为经验证据,支持「Transformer 难以超出训练数据分布泛化、LLM 不会推理」的论点。

实证研究难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1Transformer 与上下文学习(in-context learning)
2预训练数据分布与泛化
3贝叶斯模型选择
4函数拟合与外推

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐lossolo · 2023-12

“A few more interesting papers not mentioned in the article:”

补充推荐几篇文章未提到的论文,它指出上下文学习取决于预训练数据的覆盖
Will scaling work?原评论 ↗
引用mempko · 2023-11

“Google Deep Mind just demonstrated that transformers don't generalize well outside their training set.”

拿它说明 Transformer 在训练集之外泛化不好
AI is about to change how you use computers原评论 ↗
引用lossolo · 2023-12

“as LLMs can't extrapolate beyond the patterns in their training data (according to a paper from DeepMind last month):”

引用 DeepMind 的论文,说明 LLM 无法外推到训练数据的模式之外
Gemini – Google DeepMind原评论 ↗
引用lossolo · 2023-12

“as LLMs can't extrapolate beyond the patterns in their training data (according to a paper from DeepMind last month):”

引用 DeepMind 的论文,说明 LLM 无法外推到训练数据的模式之外
Weak-to-Strong Generalization原评论 ↗
引用lossolo · 2024-08

“If after reading papers below that show empirically”

把它列为 LLM 无法推理的实证论文之一
Markov chains are funnier than LLMs原评论 ↗
引用lossolo · 2024-08

“Here, a few papers that show”

把它列为 LLM 无法推理的实证论文之一
Markov chains are funnier than LLMs原评论 ↗
看全部 7 条 →
引用lossolo · 2025-06

“Here are papers showing that these models can't reason:”

在论文清单里引用它,说明这些模型不能推理
Seven replies to the viral Apple reasoning paper and why they fall short原评论 ↗
被提交为 story · 3 次