引用korbip · 2025-02
“[8] Griffin”
把 Griffin 列为线性 RNN 谱系中的一项
Hawk 与 Griffin:门控线性 RNN 加局部注意力,推理更省
论文提出 Hawk(带门控线性递归的 RNN)和 Griffin(把门控线性递归与局部注意力混合的模型)。Hawk 在下游任务上超过已报告的 Mamba 成绩,Griffin 用不到 Llama-2 六分之一的训练 token 就与之相当,并能外推到远长于训练的序列;训练时硬件效率与 Transformer 相当,推理时延迟更低、吞吐明显更高,并扩展到 14B 参数、给出了高效分布式训练的分片方法。
输入里只有一条简短引用,把它列为线性 RNN 这条技术脉络中的一个条目,没有更多评论可依据。
“[8] Griffin”