引用in-silico · 2026-06
“Relevant: Transformers are Multi-State RNNs - Transformers are Multi-State RNNs”
贴出相关论文:把 KV 缓存注意力视为多状态 RNN 的记忆
仅解码器 Transformer 可视为多状态 RNN,并提出免训练的缓存压缩 TOVA。
论证仅解码器 Transformer 在概念上可视为无界多状态 RNN,即隐藏状态大小不受限的 RNN 变体,且固定隐藏状态大小(即压缩键值缓存)后可转为有界多状态 RNN。作者提出免训练的压缩策略 TOVA(Token Omission Via Attention)。在四个长程任务和多个 LLM 上的实验显示,TOVA 优于若干基线压缩策略,在某些情况下只用原缓存的 1/8 就几乎追平完整模型,对应 4.8 倍吞吐,有助于缓解 LLM 最痛的计算瓶颈之一:键值缓存的大小。
评论者在 2026 年引它作为相关文献,把 KV cache 注意力看作多状态 RNN 的记忆。
“Relevant: Transformers are Multi-State RNNs - Transformers are Multi-State RNNs”