按年被提到
20242024 · 6 次2026
大模型与语言模型›模型表达力与计算理论·arXiv:2402.01032 · cs.LG

Repeat After Me: Transformers are Better than State Space Models at Copying

Repeat After Me:在复制任务上 Transformer 优于状态空间模型
Samy Jelassi, David Brandfonbrener, Sham M. Kakade, Eran Malach · 2024

证明固定大小隐状态的模型在上下文复制与检索上不如 Transformer

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2024-02-23 · 最近 2024-10-03
4不同的人
4活跃月份
5讨论串
24被引(OpenAlex)

论文研究“广义状态空间模型”(GSSM,隐状态大小固定)在复制输入上下文这类任务上的能力。理论上证明两层 Transformer 可以复制指数长度的字符串,而 GSSM 受固定隐状态限制;在合成任务和预训练大模型上的实验也显示 Transformer 在复制与检索上明显优于状态空间模型。

HN 为什么提它

评论者用它说明没有注意力的模型(如 Mamba、线性注意力)在上下文回忆类任务上仍落后于 softmax 注意力。

实证研究难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 架构
2状态空间模型(state space model)与 Mamba
3注意力机制(attention)
4序列建模的基本理论

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用thatguysaguy · 2024-02

“They cannot do arbitrary key-based recall from their context: Repeat After Me”

引用论文说明 SSM 无法按任意键从上下文中回忆内容
Mamba: The Easy Way原评论 ↗
引用hansonw · 2024-02

“Indeed: Repeat After Me”

引用它说明 SSM 固定大小的状态限制了能复制的上下文量
Mamba: The Easy Way原评论 ↗
引用cs702 · 2024-04

“Nothing has outperformed attention so far, not even Mamba: Repeat After Me”

引用它佐证:至今没有东西胜过注意力,连 Mamba 也不行
Visualizing Attention, a Transformer's Heart [video]原评论 ↗
引用cs702 · 2024-04

“Models with attention do well on recall tasks, but models without it, like this one, tend to do poorly.”

引用它说明有注意力的模型擅长回忆任务,没有的则较差
Megalodon: Efficient LLM Pretraining and Inference with Unlimited Context Length原评论 ↗
引用cs702 · 2024-06

“My understanding and experience is that all the linear attention models out there [b] still underperform Softmax attention on things like recall tasks.[c]”

引用它佐证自己的经验:线性注意力模型在回忆任务上仍不如 Softmax 注意力
Mamba-2 – State Space Duality原评论 ↗
引用trott · 2024-10

“Relevant: Repeat After Me”

贴出相关论文:在复制任务上 Transformer 优于状态空间模型
Were RNNs all we needed?原评论 ↗