按年被提到
20242024 · 1 次2026
大模型与语言模型›模型表达力与计算理论·arXiv:2410.14706 · cs.PL

Transformers are Efficient Compilers, Provably

Transformer 是高效的编译器(有理论证明)
Xiyu Zhai, Runlong Zhou, Liao Zhang, Simon Shaolei Du · 2024

证明 Transformer 做编译任务所需参数仅随输入长度对数增长

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2024-10-31 · 最近 2026-09-06
3不同的人
3活跃月份
3讨论串
0被引(OpenAlex)

论文从表达能力角度,形式化研究 Transformer 作为编译器:引入涵盖现代 C 类语言关键特性的 Mini-Husky 语言。作者证明,若输入代码的抽象语法树(AST)深度和类型推断深度有界,则完成 AST 构建、符号解析和类型分析等编译任务所需的参数量只依赖于输入长度的对数;并证明 RNN 至少需要线性参数,二者存在指数级分离。技术上还开发了能生成表达能力形式化证明的领域特定语言 Cybertron,并在 Mini-Husky 上用实验对比 Transformer 与 RNN 验证了理论。

HN 为什么提它

mentions 中没有留存评论摘录,只知道有 3 位用户在 3 个不同月份提到它,具体讨论角度无法确认。

奠基之作难度 5 / 5约 120 分钟经得起时间
读之前最好知道
1Transformer 架构
2编译原理(AST、符号解析、类型推断)
3神经网络表达能力理论
4循环神经网络(RNN)

HN 书评

没有评论直接链到它;下面是它被提交的讨论串里回复最多的评论(不计入统计)

讨论串里没有 ≥100 字的评论,只有提交记录。

被提交为 story · 3 次