按年被提到
20232023 · 2 次2026
大模型与语言模型›序列模型与注意力机制·arXiv:2305.13048 · cs.CL

RWKV: Reinventing RNNs for the Transformer Era

RWKV:为 Transformer 时代重新发明 RNN
Bo Peng, Eric Alcaide, Quentin Anthony, Alon Albalak, Samuel Arcadinho, Stella Biderman, Huanqi Cao, Xin Cheng, Michael Chung, Matteo Grella, Kranthi Kiran GV, Xuzheng He 等 34 人 · 2023

RWKV:训练像 Transformer 并行、推理像 RNN 恒定开销的架构

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2023-05-23 · 最近 2026-02-04发表于 Findings of the Association for Computational Linguistics: EMNLP (Findings of EMNLP)
5不同的人
4活跃月份
4讨论串
391被引(OpenAlex)

提出 RWKV(Receptance Weighted Key Value)架构,用线性注意力机制,使模型既可写成 Transformer 形式并行训练,又可写成 RNN 形式,推理时计算和内存开销保持恒定。作者把模型扩大到 140 亿参数,称是迄今训练过的最大稠密 RNN,性能与同规模 Transformer 相当。

HN 为什么提它

HN 上的人把它当作 RNN 类架构可能是长上下文下一步的代表例子,也引用它自己的局限性一节来讨论长上下文回忆能力。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 与自注意力机制
2RNN 与 LSTM
3线性注意力(linear attention)
4语言模型预训练与评测

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐marmaduke · 2024-01

“The rwkv4 paper is quite detailed and has examples of prompt and responses on the last few pages”

推荐 RWKV4 论文:内容相当详细,最后几页还有提示和回答的例子
Eagle 7B: Soaring past Transformers原评论 ↗
引用filterfiber · 2023-11

“From my understanding some form of RNNs are likely to be the next step for longer context. See RWKV as an example of a decent RNN RWKV”

认为某种形式的 RNN 可能是更长上下文的下一步,以 RWKV 为不错的 RNN 例子
Is anyone using self hosted LLM day to day and training it like a new employee原评论 ↗
引用jaster · 2024-01

“Here is a relevant tidbit from the RWKV paper "Limitations" section:”

引用 RWKV 论文“局限”一节中与长上下文回忆相关的一段话
Eagle 7B: Soaring past Transformers原评论 ↗
引用cs702 · 2026-02

“* RWKV: [OTHER_PAPER] / [OTHER_PAPER] RWKV”

把 RWKV 列入清单:可像 transformer 一样并行训练的重新发明的 RNN
FlashAttention-T: Towards Tensorized Attention原评论 ↗
被提交为 story · 1 次