推荐juank10 · 2025-06
“I recommend checking out the MesaNet [1], Rodimus [2], Gated DeltaNet [3], or Mamba2 [4].”
推荐 Mamba2 等非注意力方案
揭示 SSM 与注意力的对偶关系,并据此提出更快的 Mamba-2
论证 Transformer 与 Mamba 等状态空间模型(SSM)其实关系紧密,通过对一类结构化半可分矩阵的不同分解,建立 SSM 与各种注意力变体之间的理论联系,称为状态空间对偶(SSD)框架。据此设计出新架构 Mamba-2,其核心层是对 Mamba 选择性 SSM 的改进,快 2–8 倍,同时在语言建模上仍与 Transformer 有竞争力。
HN 上的人把 Mamba-2 当作非注意力架构的选项推荐,并提到它已被 Zamba2 等模型采用。
“I recommend checking out the MesaNet [1], Rodimus [2], Gated DeltaNet [3], or Mamba2 [4].”
“Mamba-2 is used in Zamab2.”
“* State space models: [OTHER_PAPER] / Transformers are SSMs”