按年被提到
20252025 · 4 次2026
大模型与语言模型›模型表达力与计算理论·arXiv:2503.03961 · cs.LG

A Little Depth Goes a Long Way: The Expressive Power of Log-Depth Transformers

一点深度大有帮助:对数深度 Transformer 的表达能力
William Merrill, Ashish Sabharwal · 2025

证明深度随输入长度对数增长的 Transformer 表达力更强

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2025-06-24 · 最近 2026-09-09
3不同的人
4活跃月份
5讨论串
2被引(OpenAlex)

论文分析深度随上下文长度 n 以 Θ(log n) 增长的 Transformer,证明即便是高度一致(uniform)的这类模型,也能表达正则语言识别与图连通性这两个问题;在标准复杂度猜想下,固定深度 Transformer 无法表达它们。理论还定量预测了深度应如何随输入长度增长,并表明扩展深度比扩展宽度或增加思维链步数更高效。实验显示识别正则语言所需的理论深度与实际训练所需深度相当吻合。

HN 为什么提它

评论者把它作为 Transformer 深度与推理能力关系的理论依据来引用,也有人批评实验里深度 4 的模型太小、像玩具模型。

其他难度 5 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 架构
2计算复杂性与电路复杂性类(如 TC0)
3形式语言与正则语言
4图连通性问题
5思维链(chain of thought)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评NitpickLawyer · 2025-08

“A depth of 4 is very small. It is very much a toy model.”

Is chain-of-thought AI reasoning a mirage?原评论 ↗
引用logicchains · 2025-06

“sufficiently deep transformers with chain of thought have been shown to be theoretically capable of solving a very large class of problems.”

引用该理论结果:足够深的 transformer 加 chain of thought 能解决很大一类问题
The bitter lesson is coming for tokenization原评论 ↗
引用logicchains · 2025-08

“because of A Little Depth Goes a Long Way.”

引用它解释原因:深度对推理任务很重要
Is Chain-of-Thought Reasoning of LLMs a Mirage? A Data Distribution Lens原评论 ↗
引用shawntan · 2025-10

“There is even theoretical justification for why: A Little Depth Goes a Long Way”

指出这点甚至有理论依据,贴出这篇论文
Less is more: Recursive reasoning with tiny networks原评论 ↗
引用shawntan · 2026-09

“Will Merrill (again) has a paper here that discusses exactly this.”

指出 Will Merrill 的这篇论文恰好讨论了这个问题,对数深度带来更强表达力
GPT-6 Astra, looped transformers, and hidden reasoning原评论 ↗