按年被提到
20242024 · 6 次2026
大模型与语言模型›模型表达力与计算理论·arXiv:2404.08819 · cs.LG

The Illusion of State in State-Space Models

状态空间模型中“状态”的假象
William Merrill, Jackson Petty, Ashish Sabharwal · 2024

证明SSM和Transformer一样,表达力限于TC0

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2024-04-17 · 最近 2025-01-02
5不同的人
5活跃月份
7讨论串
12被引(OpenAlex)

状态空间模型(SSM)因类似 RNN 的结构,被认为能弥补 Transformer 在状态追踪上的理论缺陷。论文的分析表明并非如此:SSM 的表达力与 Transformer 同样受限,无法表达复杂度类 TC0 之外的计算,因此无法解决排列组合这类简单的状态追踪问题,进而无法被证明能准确追踪特定记法的象棋走子、执行代码或追踪长篇叙事中的实体。作者还用实验显示 Mamba 式 SSM 确实难以做状态追踪。

HN 为什么提它

HN 评论者用它说明 Mamba 等可并行的新架构和 Transformer 有相同的状态追踪理论局限,不应简单称之为经典意义上的 RNN。

实证研究难度 5 / 5约 60 分钟经得起时间
读之前最好知道
1状态空间模型与 Mamba
2计算复杂度类 TC0
3RNN 与 Transformer 的表达能力
4置换群与状态追踪问题

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用opprobium · 2024-05

“Recent example of a proof regarding theoretical limitations of Transformers: [LINK] (also extended to cover SSMs The Illusion of State in State-Space Models)”

举 Transformer 理论局限的一个新证明,并指出已扩展到 SSM
Meta AI chief says large language models will not reach human intelligence原评论 ↗
引用logicchains · 2024-06

“Mamba 2 likely has the same limitations with state tracking as a full transformer due to being parallelizable: The Illusion of State in State-Space Models.”

引用它说明 Mamba 2 因可并行化,状态追踪局限可能与完整 Transformer 相同
Mamba-2 – State Space Duality原评论 ↗
引用logicchains · 2024-10

“for same the reasons described in The Illusion of State in State-Space Models”

引用它说明可并行化的 RNN 不如真正的 RNN 强大
Were RNNs all we needed?原评论 ↗
引用shawntan · 2025-01

“Personally I think it's important not to call some of these recent architectures RNNs because they have theoretical properties that do not match (read: they're worse) what we've "classically" called RNNs.”

认为不该把这些新架构叫 RNN,因为它们的理论性质比经典 RNN 更弱
RWKV Language Model原评论 ↗
被提交为 story · 3 次