按年被提到
20242024 · 3 次2026
大模型与语言模型›量化、解码与分词·arXiv:2404.05892 · cs.CL

Eagle and Finch: RWKV with Matrix-Valued States and Dynamic Recurrence

Eagle 与 Finch:具有矩阵值状态和动态递归的 RWKV
Bo Peng, Daniel Goldstein, Quentin Anthony, Alon Albalak, Eric Alcaide, Stella Biderman, Eugene Cheah, Xingjian Du, Teddy Ferdinan, Haowen Hou, Przemysław Kazienko, Kranthi Kiran GV 等 30 人 · 2024

RWKV-5/6:矩阵值状态加动态递归,保持 RNN 的推理效率

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2024-04-10 · 最近 2026-02-04
4不同的人
3活跃月份
4讨论串
41被引(OpenAlex)

论文提出 RWKV 架构的两个改进版本 Eagle(RWKV-5)和 Finch(RWKV-6),引入多头矩阵值状态与动态递归机制,在提升表达能力的同时保持 RNN 式的推理效率。作者还发布了含 1.12 万亿 token 的多语言语料和基于贪心匹配的快速分词器,训练了 0.46B 到 7.5B 参数的 Eagle 和 1.6B、3.1B 的 Finch,在多项基准上表现有竞争力,模型以 Apache 2.0 开源。

HN 为什么提它

评论者把它当作 RWKV 5/6 的基准与架构出处,用来对比其他非注意力的循环类模型。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1循环神经网络(RNN)
2Transformer 架构
3线性注意力与状态空间模型
4语言模型评测基准

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用jasonjmcghee · 2024-05

“Compare these benchmarks to, say, the RWKV 5/6 paper Eagle and Finch”

建议拿 RWKV 5/6 论文的基准来对比
xLSTM: Extended Long Short-Term Memory原评论 ↗
引用cs702 · 2026-02

“* RWKV: [OTHER_PAPER] / Eagle and Finch [OTHER_PAPER]”

把它列为 RWKV 的后续版本,具有矩阵值状态和动态递归
FlashAttention-T: Towards Tensorized Attention原评论 ↗
被提交为 story · 2 次