按年被提到
20242025 · 5 次2026
大模型与语言模型›模型表达力与计算理论·arXiv:2412.02975 · cs.LG

Theoretical limitations of multi-layer Transformer

多层 Transformer 的理论局限
Lijie Chen, Binghui Peng, Hongxun Wu · 2024

首个针对多层仅解码器 Transformer 的无条件下界证明

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2025-01-31 · 最近 2025-04-21
4不同的人
3活跃月份
4讨论串
8被引(OpenAlex)

此前对多层 Transformer 的局限性结论都依赖未被证明的复杂性假设。论文给出首个无条件下界:对任意常数 L,L 层仅解码器 Transformer 要完成对 n 个 token 输入的 L 个函数的顺序复合,需要多项式级的模型维度 n^Ω(1)。由此得到首个深度-宽度权衡、编码器与解码器之间的无条件分离,以及思维链(CoT)的可证明优势;技术上提出了多方自回归通信模型和新的证明技术。

HN 为什么提它

HN 上的人引用它来说明 Transformer 在需要多步顺序复合的任务上有内在局限,并正式证明了思维链能带来额外计算。

奠基之作难度 5 / 5约 120 分钟经得起时间
读之前最好知道
1Transformer 架构
2通信复杂度(communication complexity)
3计算复杂度基础
4思维链(chain-of-thought)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐svachalek · 2025-04

“This is an interesting paper, it postulates that the ability of an LLM to perform tasks correlates mostly to the number of layers it has”

称这篇有趣:LLM 完成任务的能力主要与层数相关,推理相当于虚拟层
Reasoning models don't always say what they think原评论 ↗
引用orbital-decay · 2025-02

“The actual paper [1] [2] talks about the limitations of decoder-only transformers predicting the reply directly, although it also establishes the benefits of CoT for composition.”

说明论文实际谈的是 decoder-only Transformer 直接预测回答的局限,也证明了 CoT 对组合的好处
Recent results show that LLMs struggle with compositional tasks原评论 ↗
引用orbital-decay · 2025-02

“The paper also proves that CoT-like planning lets you squeeze more computation from a transformer, which is... obvious? but formally proven this time.”

指出论文证明 CoT 式规划能从 Transformer 榨出更多计算,虽显而易见但这次有形式证明
Recent results show that LLMs struggle with compositional tasks原评论 ↗
引用namaria · 2025-04

“TL;DR transformers are inherently limited with tasks requiring composition of sequential steps”

概括:Transformer 在需要串联多个步骤的组合任务上天生受限
LLM-powered tools amplify developer capabilities rather than replacing them原评论 ↗
被提交为 story · 1 次