按年被提到
20232023 · 7 次2026
大模型与语言模型›序列模型与注意力机制·arXiv:2307.08621 · cs.CL

Retentive Network: A Successor to Transformer for Large Language Models

Retentive Network:面向大语言模型的 Transformer 继任者
Yutao Sun, Li Dong, Shaohan Huang, Shuming Ma, Yuqing Xia, Jilong Xue, Jianyong Wang, Furu Wei · 2023

提出 RetNet 的 retention 机制,兼顾并行训练、低成本推理和性能

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 9 人首次 2023-07-18 · 最近 2025-02-15
9不同的人
5活跃月份
9讨论串
298被引(OpenAlex)

论文提出 Retentive Network(RetNet)作为大语言模型的基础架构,同时实现训练并行、低成本推理和良好性能。作者从理论上推导出循环与注意力之间的联系,并提出支持并行、循环和分块循环三种计算范式的 retention 机制:并行表示支持训练并行,循环表示实现 O(1) 的低成本推理以改善解码吞吐、延迟和显存,分块循环表示以线性复杂度高效建模长序列。语言建模实验显示 RetNet 具有良好的缩放表现、并行训练、低成本部署和高效推理。

HN 为什么提它

HN 上的人在讨论 RWKV 及线性复杂度的 Transformer 替代方案时引用它,同时也有人对它声称在线性时间内等同于 Transformer 持怀疑态度。

方法难度 4 / 5约 60 分钟有时效性
读之前最好知道
1Transformer 与自注意力
2循环神经网络(RNN)
3线性注意力与线性复杂度
4语言模型的训练与推理成本

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评YetAnotherNick · 2023-12

“Remember retnet[1] which said the same thing, equal to transformer in linear time.”

怀疑 RetNet 是炒作:它也说过线性时间下与 Transformer 相当
2023: The Year of AI原评论 ↗
引用pico_creator · 2023-09

“There is microsoft paper on retnet: Retentive Network”

指出微软的 RetNet 论文是线性 Transformer 替代方案,印证 RWKV 之外的架构
The Eleuther AI Mafia原评论 ↗
引用marmaduke · 2024-01

“And iirc rwkv5 is very similar to retnet which is detailed here”

指出 RWKV-v5 与 RetNet 很相似,并给出 RetNet 的详细介绍
Eagle 7B: Soaring past Transformers原评论 ↗
引用korbip · 2025-02

“[5] Retentive Network”

列为线性 RNN 谱系中的一员 Retention
Ask HN: Is anybody building an alternative transformer?原评论 ↗
被提交为 story · 5 次