按年被提到
20242024 · 3 次2026
大模型与语言模型›模型表达力与计算理论·arXiv:2405.21060 · cs.LG

Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality

Transformer 即 SSM:基于结构化状态空间对偶的广义模型与高效算法
Tri Dao, Albert Gu · 2024

揭示 SSM 与注意力的对偶关系,并据此提出更快的 Mamba-2

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2024-06-03 · 最近 2026-02-04
5不同的人
4活跃月份
5讨论串
311被引(OpenAlex)

论证 Transformer 与 Mamba 等状态空间模型(SSM)其实关系紧密,通过对一类结构化半可分矩阵的不同分解,建立 SSM 与各种注意力变体之间的理论联系,称为状态空间对偶(SSD)框架。据此设计出新架构 Mamba-2,其核心层是对 Mamba 选择性 SSM 的改进,快 2–8 倍,同时在语言建模上仍与 Transformer 有竞争力。

HN 为什么提它

HN 上的人把 Mamba-2 当作非注意力架构的选项推荐,并提到它已被 Zamba2 等模型采用。

奠基之作难度 5 / 5约 120 分钟经得起时间
读之前最好知道
1状态空间模型(SSM)与 Mamba
2自注意力与线性注意力
3半可分矩阵(semiseparable matrices)
4线性代数与矩阵分解
5GPU 高效算法

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐juank10 · 2025-06

“I recommend checking out the MesaNet [1], Rodimus [2], Gated DeltaNet [3], or Mamba2 [4].”

推荐 Mamba2 等非注意力方案
Breaking Quadratic Barriers: A Non-Attention LLM for Ultra-Long Context Horizons原评论 ↗
引用epistasis · 2024-10

“Mamba-2 is used in Zamab2.”

指出 Mamba-2 被用在 Zamba2 中
Zamba2-7B原评论 ↗
引用cs702 · 2026-02

“* State space models: [OTHER_PAPER] / Transformers are SSMs”

列入状态空间模型相关阅读,该论文连接注意力与 SSM
FlashAttention-T: Towards Tensorized Attention原评论 ↗
被提交为 story · 2 次