按年被提到
20232024 · 10 次2026
大模型与语言模型›序列模型与注意力机制·arXiv:2312.00752 · cs.LG

Mamba: Linear-Time Sequence Modeling with Selective State Spaces

Mamba:基于选择性状态空间的线性时间序列建模
Albert Gu, Tri Dao · 2023

选择性状态空间模型:线性复杂度的 Transformer 替代

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 18 人首次 2023-12-04 · 最近 2026-02-04
18不同的人
10活跃月份
17讨论串
3,848被引(OpenAlex)

论文指出结构化状态空间模型(SSM)的关键弱点是无法做基于内容的推理,于是让 SSM 的参数成为输入的函数,使模型能按当前 token 选择性地沿序列传播或遗忘信息,并设计了适配硬件的并行循环算法来弥补由此失去的卷积加速。由此得到不含注意力甚至 MLP 块的 Mamba 架构,推理吞吐量约为 Transformer 的 5 倍,序列长度上线性扩展;Mamba-3B 在语言建模上优于同尺寸 Transformer,并可比肩两倍大小的 Transformer。

HN 为什么提它

评论者主要把它当作 Transformer 的线性复杂度替代架构来引用,用来讨论长上下文,询问某个新模型是否用了 Mamba,或引用其缩放定律图。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 与注意力机制
2状态空间模型(SSM)
3循环神经网络(RNN)
4GPU 内存层级与并行扫描

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐yuhongsun · 2024-03

“you should check out the new Mamba (Transformers replacement) architecture: Mamba”

推荐看看新的 Mamba 架构,作为 Transformer 的替代方案
Launch HN: Danswer (YC W24) – Open-source AI search and chat over private data原评论 ↗
引用squigz · 2023-12

“This is a reddit post which links to a Twitter post [0] which links to this paper [1] and this repo [2]”

说明 reddit 帖子经 Twitter 链接到这篇原始 Mamba 论文和代码仓库
Mamba outperforms transformers "everywhere we tried"原评论 ↗
引用CaptainOfCoit · 2023-12

“which does explain what Mamba is by linking to the original paper”

指出该文章通过链接原论文来解释 Mamba 是什么
Minimal implementation of Mamba, the new LLM architecture, in 1 file of PyTorch原评论 ↗
引用MAXPOOL · 2024-01

“Mamba: Linear-Time Sequence Modeling with Selective State Spaces Mamba”

指出新的基于 SSM 的架构出自这篇 Mamba 论文
Introduction to State Space Models (SSM)原评论 ↗
引用sanxiyn · 2024-01

“Mamba did such benchmark.”

指出做过这样的基准,显示架构随时间的改进相当显著
Eagle 7B: Soaring past Transformers原评论 ↗
引用TweedBeetle · 2024-02

“they are using the new SAMBA architecture.”

猜测 Gemini 的 1000 万上下文可能用了类似的新 SAMBA 架构
Our next-generation model: Gemini 1.5原评论 ↗
看全部 16 条 →
引用jxmorris12 · 2024-02

“For more info, see the scaling laws plot in Figure 4 of the Mamba paper: Mamba”

指向论文图 4 的 scaling law 图,对比 Mamba 与 Transformer
Mamba: The Easy Way原评论 ↗
引用jackcook · 2024-02

“Yes you're spot on, the nonlinearities come from the full Mamba blocks”

确认非线性来自完整的 Mamba block,并引用论文里的 block 图
Mamba: The Easy Way原评论 ↗
引用swimwiththebeat · 2024-03

“Does anyone know if this is using the Mamba architecture[1] instead of transformers?”

询问这是否用了 Mamba 架构而非 Transformer
Generative AI and the big buzz about small language models原评论 ↗
引用fancyfredbot · 2024-03

“A paper describing how you might do it published in December last year.”

指出去年十二月发表的论文描述了这项技术可能怎么做
Claude 3 model family原评论 ↗
引用sva_ · 2024-06

“It's an LLM architecture competing with transformers: Mamba”

介绍 Mamba 是与 Transformer 竞争的 LLM 架构,随输入长度线性扩展
A pure NumPy implementation of Mamba原评论 ↗
引用Fripplebubby · 2024-07

“has an equivalent unit to a gated RNN”

指出 Mamba 的单元等价于门控 RNN,训练像 CNN、推理像 RNN
My Python code is a neural network原评论 ↗
引用korbip · 2025-02

“[6] Mamba”

把它列入线性 RNN 参考文献清单,没有评价
Ask HN: Is anybody building an alternative transformer?原评论 ↗
引用bob1029 · 2025-05

“E.g.: Mamba”

举 Mamba 为例,作为解决二次复杂度问题的线性时间状态空间模型
Cerebras achieves 2,500T/s on Llama 4 Maverick (400B)原评论 ↗
引用godelski · 2025-08

“We mentioned Mamba, they compared to GPT-3 in their first paper[0].”

指出 Mamba 在首篇论文中与 GPT-3 级开源模型比较,性能相当
GPT-5: Key characteristics, pricing and system card原评论 ↗
引用cs702 · 2026-02

“* State space models: Mamba / [OTHER_PAPER]”

把选择性状态空间模型列为注意力的线性时间替代方案
FlashAttention-T: Towards Tensorized Attention原评论 ↗
被提交为 story · 2 次