引用jasonjmcghee · 2024-05
“Compare these benchmarks to, say, the RWKV 5/6 paper Eagle and Finch”
建议拿 RWKV 5/6 论文的基准来对比
RWKV-5/6:矩阵值状态加动态递归,保持 RNN 的推理效率
论文提出 RWKV 架构的两个改进版本 Eagle(RWKV-5)和 Finch(RWKV-6),引入多头矩阵值状态与动态递归机制,在提升表达能力的同时保持 RNN 式的推理效率。作者还发布了含 1.12 万亿 token 的多语言语料和基于贪心匹配的快速分词器,训练了 0.46B 到 7.5B 参数的 Eagle 和 1.6B、3.1B 的 Finch,在多项基准上表现有竞争力,模型以 Apache 2.0 开源。
评论者把它当作 RWKV 5/6 的基准与架构出处,用来对比其他非注意力的循环类模型。
“Compare these benchmarks to, say, the RWKV 5/6 paper Eagle and Finch”
“* RWKV: [OTHER_PAPER] / Eagle and Finch [OTHER_PAPER]”