按年被提到
20232023 · 10 次2026
大模型与语言模型›量化、解码与分词·arXiv:2302.10866 · cs.LG

Hyena Hierarchy: Towards Larger Convolutional Language Models

Hyena 层级:迈向更大的卷积语言模型
Michael Poli, Stefano Massaroli, Eric Nguyen, Daniel Y. Fu, Tri Dao, Stephen Baccus, Yoshua Bengio, Stefano Ermon, Christopher Ré · 2023

用长卷积加门控替代注意力的亚二次复杂度算子

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 11 人首次 2023-03-10 · 最近 2025-02-26
11不同的人
5活跃月份
10讨论串
132被引(OpenAlex)

论文提出 Hyena,一种亚二次复杂度的注意力替代算子,由隐式参数化的长卷积与数据控制的门控交替构成。在数千到数十万长度序列的召回和推理任务上,准确率比基于状态空间等算子的方法高出 50 多点,与基于注意力的模型持平;在 WikiText103 和 The Pile 上刷新了无稠密注意力架构的最好成绩,序列长 2K 时训练算力减少 20% 即达到 Transformer 质量,并在 8K 长度下比优化后的注意力快两倍、64K 下快 100 倍。

HN 为什么提它

它常被当作「注意力的长上下文替代方案」之一提及,评论者借它讨论上下文长度的扩展;也有评论批评后来的工作没有引用 Hyena。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1Transformer 与注意力的二次复杂度
2卷积与快速傅里叶变换(FFT)
3状态空间模型(state space model)
4门控机制

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐jmole · 2023-04

“Very cool work.”

称赞 Hyena 是很酷的工作,卷积式长上下文方案可替代 attention
From Deep to Long Learning原评论 ↗
批评semiinfinitely · 2025-02

“I see no mention of prior work Hyena Operator which already demonstrated O(n log n) full context mixing several years ago.”

批评没有提及早已实现 O(n log n) 全上下文混合的 Hyena Operator
The FFT Strikes Back: An Efficient Alternative to Self-Attention原评论 ↗
引用smaddox · 2023-04

“"Hyena Hierarchy: Towards Larger Convolutional Language Models" Hyena Hierarchy”

把它列为 attention 的几种长序列替代方案之一
From Deep to Long Learning原评论 ↗
引用MacsHeadroom · 2023-04

“Rumor is RedPajama is going to have upwards of 60k token context by using Hyena: Hyena Hierarchy.”

传闻 RedPajama 将用 Hyena 做到 6 万以上 token 的上下文
Stability AI Launches the First of Its StableLM Suite of Language Models原评论 ↗
引用saurabh20n · 2023-04

“Title of popsci is overreaching, this is a drop-in subquadratic replacement for attention.”

指出科普文章标题夸大,Hyena 实为 attention 的次二次方替代
New technology could blow away GPT-4 and everything like it原评论 ↗
引用hervature · 2023-05

“Has Hyena not addressed the scaling of context length [1]?”

反问 Hyena 是否已经解决了上下文长度的扩展问题
OpenAI's plans according to sama原评论 ↗
看全部 7 条 →
引用pico_creator · 2023-09

“And the stanford heyena paper: Hyena Hierarchy”

提到斯坦福的 Hyena 论文,作为线性 Transformer 之外的独立架构
The Eleuther AI Mafia原评论 ↗
被提交为 story · 4 次