按年被提到
20222023 · 3 次2026
大模型与语言模型›量化、解码与分词·arXiv:2212.14052 · cs.LG

Hungry Hungry Hippos: Towards Language Modeling with State Space Models

饥饿的河马:迈向基于状态空间模型的语言建模
Daniel Y. Fu, Tri Dao, Khaled K. Saab, Armin W. Thomas, Atri Rudra, Christopher Ré · 2022

提出 H3 层与 FlashConv,让状态空间模型逼近 Transformer

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2023-01-24 · 最近 2025-04-29
4不同的人
3活跃月份
4讨论串
212被引(OpenAlex)

论文先用合成语言建模任务分析状态空间模型(SSM)与注意力的能力差距,发现现有 SSM 难以回忆更早的 token 和跨序列比较 token。为此提出 H3 层,在 OpenWebText 上与 Transformer 只差 0.4 PPL,而保留两层注意力的 125M 混合模型反而领先 1.0 PPL。同时提出 FlashConv(融合块 FFT 与状态传递算法),在 Long Range Arena 上提速 2 倍,使混合模型生成文本比 Transformer 快 2.4 倍,并扩展到 2.7B 参数。

HN 为什么提它

评论者把它当作状态空间模型用于语言建模的早期论文,在讨论 SSM 的潜力和它们已流行多年时引用。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1Transformer 与注意力机制
2状态空间模型(state space model, SSM)
3快速傅里叶变换(FFT)与卷积
4GPU 内存层级与算子融合

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用throwaway4aday · 2023-03

“I can't wait to see what happens when state space models are developed further[0].”

期待状态空间模型进一步发展,用于语言建模,支持更长提示和输出
We're never getting rid of ChatGPT原评论 ↗
引用jwilber · 2025-04

“LLM/state space models have been popular for some years now, see: Hungry Hungry Hippos”

拿它说明状态空间语言模型这几年早已流行,作为背景
Bamba: An open-source LLM that crosses a transformer with an SSM原评论 ↗
被提交为 story · 2 次