按年被提到
20242024 · 1 次2026
大模型与语言模型›模型表达力与计算理论·arXiv:2401.06104 · cs.CL

Transformers are Multi-State RNNs

Transformer 是多状态 RNN
Matanel Oren, Michael Hassid, Nir Yarden, Yossi Adi, Roy Schwartz · 2024

仅解码器 Transformer 可视为多状态 RNN,并提出免训练的缓存压缩 TOVA。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2024-01-16 · 最近 2026-06-04
3不同的人
3活跃月份
3讨论串
33被引(OpenAlex)

论证仅解码器 Transformer 在概念上可视为无界多状态 RNN,即隐藏状态大小不受限的 RNN 变体,且固定隐藏状态大小(即压缩键值缓存)后可转为有界多状态 RNN。作者提出免训练的压缩策略 TOVA(Token Omission Via Attention)。在四个长程任务和多个 LLM 上的实验显示,TOVA 优于若干基线压缩策略,在某些情况下只用原缓存的 1/8 就几乎追平完整模型,对应 4.8 倍吞吐,有助于缓解 LLM 最痛的计算瓶颈之一:键值缓存的大小。

HN 为什么提它

评论者在 2026 年引它作为相关文献,把 KV cache 注意力看作多状态 RNN 的记忆。

方法难度 4 / 5约 35 分钟经得起时间
读之前最好知道
1Transformer 解码器与自注意力
2循环神经网络(RNN)
3键值缓存(KV cache)
4长上下文推理

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用in-silico · 2026-06

“Relevant: Transformers are Multi-State RNNs - Transformers are Multi-State RNNs”

贴出相关论文:把 KV 缓存注意力视为多状态 RNN 的记忆
No, Artificial Intelligence is not Conscious - Ted Chiang原评论 ↗
被提交为 story · 2 次