按年被提到
20202023 · 4 次2026
大模型与语言模型›模型表达力与计算理论·arXiv:2006.16236 · cs.LG

Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention

Transformer 就是 RNN:基于线性注意力的快速自回归 Transformer
Angelos Katharopoulos, Apoorv Vyas, Nikolaos Pappas, François Fleuret · 2020

线性注意力把 Transformer 改写成 RNN,长序列推理极快

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 8 人首次 2020-07-03 · 最近 2026-02-04
8不同的人
7活跃月份
9讨论串
873被引(OpenAlex)

论文把自注意力写成核特征映射的线性点积,并利用矩阵乘法的结合律把复杂度从 O(N²) 降到 O(N)。这种形式允许迭代实现,从而让自回归 Transformer 大幅加速,并揭示出它与循环神经网络的等价关系。线性 Transformer 性能与标准 Transformer 相近,在超长序列的自回归预测上最多快 4000 倍。

HN 为什么提它

HN 上的人把它当作“Transformer 可视为带内部状态的 RNN”的出处(尤其是第 3.4 节),在谈 RWKV、Mamba 等线性循环模型时反复追溯到它。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1Transformer 与自注意力
2循环神经网络(RNN)
3核方法与特征映射(kernel feature maps)
4矩阵乘法的结合律与计算复杂度

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐Fripplebubby · 2024-07

“consider this paper”

推荐读这篇,说明窄的因果掩码 Transformer 与 RNN 等价
My Python code is a neural network原评论 ↗
引用101101001010 · 2020-07

“(Transformers are RNNs Transformers are RNNs)”

引用它说明线性注意力让 Transformer 成为 RNN,可快速自回归推理
The Reformer – Pushing the limits of language modeling原评论 ↗
引用GistNoesis · 2023-01

“"Transformers are RNNs" Transformers are RNNs (see section 3.4)”

指向第 3.4 节,说明 Transformer 可视为 RNN
What a transformer can NOT do原评论 ↗
引用GistNoesis · 2023-04

“Transformers are RNNs: section 3.4 (page 5) Transformers are RNNs”

指向第 3.4 节,说明 Transformer 可视为带内部状态的 RNN
There Is No A.I原评论 ↗
引用GistNoesis · 2023-04

“See above comment and "Transformers are RNNs" paper to convince yourself.”

让人去读它,自行确信线性注意力 Transformer 可视为循环网络
There Is No A.I原评论 ↗
引用MacsHeadroom · 2023-04

“Additionally, Transformers are RNNs: Transformers are RNNs”

引用它支持 Transformer 等价于 RNN、带内部状态的说法
There Is No A.I原评论 ↗
看全部 11 条 →
引用cs702 · 2024-06

“the state-space transformation can be expressed as a form of causal linear attention[a] by compounding coefficients a_1... a_t at each time step t.”

把它当作因果线性注意力的来源,是 Mamba-2 对偶性的基础
Mamba-2 – State Space Duality原评论 ↗
引用cs702 · 2024-06

“the state-space transformation can be expressed as a form of causal linear attention.[a]”

把它当作因果线性注意力的来源,是 Mamba-2 对偶性的基础
Mamba-2 – State Space Duality原评论 ↗
引用korbip · 2025-02

“[2] Transformers are RNNs”

把它当作线性注意力的起点,即线性 RNN 这条线的源头
Ask HN: Is anybody building an alternative transformer?原评论 ↗
引用cs702 · 2026-02

“* RWKV: Transformers are RNNs / [OTHER_PAPER] [OTHER_PAPER]”

在 RWKV 相关论文列表中列出它,作为线性注意力的基础
FlashAttention-T: Towards Tensorized Attention原评论 ↗
引用fheinsen · 2026-02

“This is a form of linear attention that approximates standard scaled dot-product attention to arbitrary precision, by adding Taylor terms in an efficient manner.”

引用它说明线性注意力可通过泰勒项高效逼近标准点积注意力
Attention at Constant Cost per Token via Symmetry-Aware Taylor Approximation原评论 ↗
被提交为 story · 1 次