“Recent example of a proof regarding theoretical limitations of Transformers: [LINK] (also extended to cover SSMs The Illusion of State in State-Space Models)”
按年被提到
20242024 · 6 次2026
The Illusion of State in State-Space Models
状态空间模型中“状态”的假象
William Merrill, Jackson Petty, Ashish Sabharwal · 2024
证明SSM和Transformer一样,表达力限于TC0
被提及 · 5 人首次 2024-04-17 · 最近 2025-01-02
5不同的人
5活跃月份
7讨论串
12被引(OpenAlex)
状态空间模型(SSM)因类似 RNN 的结构,被认为能弥补 Transformer 在状态追踪上的理论缺陷。论文的分析表明并非如此:SSM 的表达力与 Transformer 同样受限,无法表达复杂度类 TC0 之外的计算,因此无法解决排列组合这类简单的状态追踪问题,进而无法被证明能准确追踪特定记法的象棋走子、执行代码或追踪长篇叙事中的实体。作者还用实验显示 Mamba 式 SSM 确实难以做状态追踪。
HN 为什么提它
HN 评论者用它说明 Mamba 等可并行的新架构和 Transformer 有相同的状态追踪理论局限,不应简单称之为经典意义上的 RNN。
实证研究难度 5 / 5约 60 分钟经得起时间
读之前最好知道
1状态空间模型与 Mamba
2计算复杂度类 TC0
3RNN 与 Transformer 的表达能力
4置换群与状态追踪问题
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用opprobium · 2024-05
举 Transformer 理论局限的一个新证明,并指出已扩展到 SSM
引用logicchains · 2024-06
“Mamba 2 likely has the same limitations with state tracking as a full transformer due to being parallelizable: The Illusion of State in State-Space Models.”
引用它说明 Mamba 2 因可并行化,状态追踪局限可能与完整 Transformer 相同
引用logicchains · 2024-10
“for same the reasons described in The Illusion of State in State-Space Models”
引用它说明可并行化的 RNN 不如真正的 RNN 强大
引用shawntan · 2025-01
“Personally I think it's important not to call some of these recent architectures RNNs because they have theoretical properties that do not match (read: they're worse) what we've "classically" called RNNs.”
认为不该把这些新架构叫 RNN,因为它们的理论性质比经典 RNN 更弱
被提交为 story · 3 次
- The illusion of state in state-space models ↗canjobear · 2024-04-17 · 4 分
- The Illusion of State in State-Space Models ↗georgehill · 2024-04-21 · 2 分
- The illusion of state in state-space models ↗canjobear · 2024-06-07 · 60 分