按年被提到
20232023 · 3 次2026
大模型与语言模型›序列模型与注意力机制·arXiv:2303.06349 · cs.LG

Resurrecting Recurrent Neural Networks for Long Sequences

让循环神经网络重获新生:面向长序列
Antonio Orvieto, Samuel L Smith, Albert Gu, Anushan Fernando, Caglar Gulcehre, Razvan Pascanu, Soham De · 2023

精心设计的线性循环单元 LRU 追平深度状态空间模型

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2023-03-14 · 最近 2025-03-15
4不同的人
5活跃月份
5讨论串
97被引(OpenAlex)

深度状态空间模型(SSM)在长序列任务上表现出色,但它与 RNN 的性能差距来源并不清楚。论文用标准的信号传播论证来设计深层 RNN,通过消融线性化与对角化递归、更好的参数化与初始化、前向归一化等改动,找出性能提升的来源。最终得到的线性循环单元(LRU)在 Long Range Arena 上匹配 SSM 的性能和训练效率。

HN 为什么提它

HN 上的人在讨论 Transformer 之外的长序列方案时提它,作为现代 RNN 以及线性循环网络出人意料地强的依据。

方法难度 4 / 5约 55 分钟经得起时间
读之前最好知道
1循环神经网络(RNN)
2状态空间模型(SSM)
3并行扫描(parallel scan)
4Long Range Arena 基准

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐tsurba · 2025-03

“For a modern take on RNNs, read Resurrecting Recurrent Neural Networks for Long Sequences by DeepMind.”

推荐 DeepMind 的这篇,作为 RNN 的现代解读
Transformers Without Normalization原评论 ↗
引用smaddox · 2023-04

“"Resurrecting Recurrent Neural Networks for Long Sequences" Resurrecting Recurrent Neural Networks for Long Sequences”

把它列为 transformer 之外的长序列替代方案之一
From Deep to Long Learning原评论 ↗
引用smaddox · 2023-07

“[1] shows how to train an RNN in a GPT-like mode, using parallel scan, with great performance on Path-X, which has a sequence length of 16k.”

引用它说明可用并行扫描以类 GPT 方式训练 RNN,在 Path-X 上表现很好
Scaling Transformers to 1B Tokens原评论 ↗
引用scarmig · 2024-10

“And linear recurrent networks are surprisingly powerful (Resurrecting Recurrent Neural Networks for Long Sequences, [OTHER_PAPER]).”

引用它说明线性循环网络出人意料地强大
Were RNNs all we needed?原评论 ↗
被提交为 story · 1 次