按年被提到
20242024 · 5 次2026
大模型与语言模型›序列模型与注意力机制·arXiv:2402.19427 · cs.LG

Griffin: Mixing Gated Linear Recurrences with Local Attention for Efficient Language Models

Griffin:混合门控线性递归与局部注意力的高效语言模型
Soham De, Samuel L. Smith, Anushan Fernando, Aleksandar Botev, George Cristian-Muraru, Albert Gu, Ruba Haroun, Leonard Berrada, Yutian Chen, Srivatsan Srinivasan, Guillaume Desjardins, Arnaud Doucet 等 17 人 · 2024

Hawk 与 Griffin:门控线性 RNN 加局部注意力,推理更省

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2024-03-01 · 最近 2025-02-15
6不同的人
3活跃月份
6讨论串
—被引(OpenAlex)

论文提出 Hawk(带门控线性递归的 RNN)和 Griffin(把门控线性递归与局部注意力混合的模型)。Hawk 在下游任务上超过已报告的 Mamba 成绩,Griffin 用不到 Llama-2 六分之一的训练 token 就与之相当,并能外推到远长于训练的序列;训练时硬件效率与 Transformer 相当,推理时延迟更低、吞吐明显更高,并扩展到 14B 参数、给出了高效分布式训练的分片方法。

HN 为什么提它

输入里只有一条简短引用,把它列为线性 RNN 这条技术脉络中的一个条目,没有更多评论可依据。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1RNN 与门控线性递归
2局部注意力(local attention)
3Transformer 架构
4状态空间模型与 Mamba

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用korbip · 2025-02

“[8] Griffin”

把 Griffin 列为线性 RNN 谱系中的一项
Ask HN: Is anybody building an alternative transformer?原评论 ↗
被提交为 story · 5 次