批评YetAnotherNick · 2023-12
“Remember retnet[1] which said the same thing, equal to transformer in linear time.”
怀疑 RetNet 是炒作:它也说过线性时间下与 Transformer 相当
提出 RetNet 的 retention 机制,兼顾并行训练、低成本推理和性能
论文提出 Retentive Network(RetNet)作为大语言模型的基础架构,同时实现训练并行、低成本推理和良好性能。作者从理论上推导出循环与注意力之间的联系,并提出支持并行、循环和分块循环三种计算范式的 retention 机制:并行表示支持训练并行,循环表示实现 O(1) 的低成本推理以改善解码吞吐、延迟和显存,分块循环表示以线性复杂度高效建模长序列。语言建模实验显示 RetNet 具有良好的缩放表现、并行训练、低成本部署和高效推理。
HN 上的人在讨论 RWKV 及线性复杂度的 Transformer 替代方案时引用它,同时也有人对它声称在线性时间内等同于 Transformer 持怀疑态度。
“Remember retnet[1] which said the same thing, equal to transformer in linear time.”
“There is microsoft paper on retnet: Retentive Network”
“And iirc rwkv5 is very similar to retnet which is detailed here”
“[5] Retentive Network”