按年被提到
20232024 · 4 次2026
大模型与语言模型›模型表达力与计算理论·arXiv:2310.16028 · cs.LG

What Algorithms can Transformers Learn? A Study in Length Generalization

Transformer 能学会哪些算法?长度泛化研究
Hattie Zhou, Arwen Bradley, Etai Littwin, Noam Razin, Omid Saremi, Josh Susskind, Samy Bengio, Preetum Nakkiran · 2023

用 RASP 猜想解释 Transformer 何时能做长度泛化

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2024-02-09 · 最近 2024-12-14
4不同的人
3活跃月份
4讨论串
24被引(OpenAlex)

论文研究 Transformer 能否学到解决任务的真实算法,聚焦算法任务上的长度泛化。作者借助为 Transformer 计算模型设计的 RASP 语言,提出 RASP 泛化猜想:若任务能用一个对所有输入长度都适用的短 RASP 程序解决,Transformer 往往就能做长度泛化。该猜想涵盖了多数已知的长度泛化实例,并被用来大幅改进奇偶校验、加法等传统难题的泛化表现。

HN 为什么提它

HN 上的人在争论 Transformer 是否只是记忆时引用它,说明 Transformer 能从例子中学到算法,且某些局限并非来自分词。

实证研究难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 架构
2RASP 编程语言
3长度泛化与分布外泛化
4算法任务如奇偶校验与加法

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐hansonw · 2024-04

“This is also a good paper on the subject:”

推荐这篇同主题的好论文
What can LLMs never do?原评论 ↗
引用astrange · 2024-02

“We can prove that transformers can do computation beyond memorization, and that they can learn it from examples, unless you think learning an algorithm is memorization.”

拿它说明 Transformer 能从样例中学到记忆之外的计算,除非把学习算法也算作记忆
Every model learned by gradient descent is approximately a kernel machine (2020)原评论 ↗
引用Vetch · 2024-12

“Tokenization is often scapegoated for many transformer limitations.”

指出 Transformer 的许多局限常被归咎于分词,其实是个替罪羊
Byte Latent Transformer: Patches Scale Better Than Tokens原评论 ↗
被提交为 story · 1 次