按年被提到
20192026 · 3 次2026
大模型与语言模型›模型表达力与计算理论·arXiv:1912.10077 · cs.LG

Are Transformers universal approximators of sequence-to-sequence functions?

Transformer 是序列到序列函数的通用逼近器吗?
Chulhee Yun, Srinadh Bhojanapalli, Ankit Singh Rawat, Sashank J. Reddi, Sanjiv Kumar · 2019

证明 Transformer 能通用逼近连续序列到序列函数

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2023-05-13 · 最近 2026-06-18
6不同的人
5活跃月份
5讨论串
149被引(OpenAlex)

论文证明 Transformer 是紧支撑连续置换等变序列到序列函数的通用逼近器,而借助位置编码,还能通用逼近紧致域上任意连续序列到序列函数,这在参数高度共享的前提下相当出人意料。证明显示了自注意力层和前馈层的不同作用:固定宽度的自注意力层可以计算输入序列的上下文映射;作者据此还尝试了几种更简单的替代自注意力的方案。

HN 为什么提它

评论者用它作为「Transformer 能逼近极大一类序列函数」的理论依据,来反驳 LLM 学不会像人那样思考的说法;也有人指出它与 LLM 中用户数据与指令的分离问题无关。

奠基之作难度 5 / 5约 90 分钟经得起时间
读之前最好知道
1Transformer 与自注意力
2通用逼近定理(universal approximation)
3置换等变性与位置编码
4实分析与函数逼近

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先掌握 Transformer 的结构,再看它在表达能力上的另一项理论结果(图灵完备性),最后读这篇关于通用逼近的证明。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    要证明的对象就是这里提出的 Transformer 结构(自注意力加前馈层)。

    读抓住自注意力层、前馈层、位置编码的定义,理解它们作为数学函数的形式。

  2. 2
    On the Turing Completeness of Modern Neural Network Architectures论现代神经网络架构的图灵完备性 · 2019

    同样研究 Transformer 的表达能力,从图灵完备性角度补充,可与通用逼近对照。

    读理解图灵完备与通用逼近两类表达能力结论的区别及各自假设。

  3. 3
    Are Transformers universal approximators of sequence-to-sequence functions?Transformer 是序列到序列函数的通用逼近器吗? · 2019 · 就是这篇

    目标论文:证明 Transformer 能通用逼近连续的序列到序列函数。

    读看排列等变函数的逼近结论、位置编码如何去掉等变限制,以及证明的大致思路。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用hackinthebochs · 2023-05

“We know that Transformers are universal approximators of sequence-to-sequence functions[1]”

引它说明 Transformer 是序列到序列函数的通用逼近器
Ask HN: Why can GPT4 en/decode base64?原评论 ↗
引用logicchains · 2024-03

“their architecture can learn to approximate a very large class of functions-on-sequences”

引它说明 Transformer 能逼近极大一类序列函数
OpenAI – transformer debugger release原评论 ↗
引用triclops200 · 2025-11

“Along with Are Transformers universal approximators of sequence-to-sequence functions?, these 4 sources, alone, together strongly rebuke any idea that they are somehow not capable of learning to act like and think like us”

与其他来源一起,用它反驳 Transformer 学不会像人思考
The Case That A.I. Is Thinking原评论 ↗
引用hodgehog11 · 2026-02

“itself proven in Appendices B and C in [2]”

指出通用逼近定理在其附录 B 和 C 中证明
The Problem with LLMs原评论 ↗
引用anuramat · 2026-06

“> show the logic Are Transformers universal approximators of sequence-to-sequence functions?”

贴出论文作为回应,要对方展示其逻辑
ChatGPT Spontaneously Generates Sexual Violence and Hardcore Snuff Imagery原评论 ↗
引用solid_fuel · 2026-06

“This paper doesn’t have any bearing to the question of the separation of user and command data in LLMs.”

认为这篇论文与 LLM 中用户数据和命令数据的分离问题无关
ChatGPT Spontaneously Generates Sexual Violence and Hardcore Snuff Imagery原评论 ↗