“We know that Transformers are universal approximators of sequence-to-sequence functions[1]”
Are Transformers universal approximators of sequence-to-sequence functions?
证明 Transformer 能通用逼近连续序列到序列函数
论文证明 Transformer 是紧支撑连续置换等变序列到序列函数的通用逼近器,而借助位置编码,还能通用逼近紧致域上任意连续序列到序列函数,这在参数高度共享的前提下相当出人意料。证明显示了自注意力层和前馈层的不同作用:固定宽度的自注意力层可以计算输入序列的上下文映射;作者据此还尝试了几种更简单的替代自注意力的方案。
评论者用它作为「Transformer 能逼近极大一类序列函数」的理论依据,来反驳 LLM 学不会像人那样思考的说法;也有人指出它与 LLM 中用户数据与指令的分离问题无关。
学习路径
读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先掌握 Transformer 的结构,再看它在表达能力上的另一项理论结果(图灵完备性),最后读这篇关于通用逼近的证明。
- 1
- 2
同样研究 Transformer 的表达能力,从图灵完备性角度补充,可与通用逼近对照。
读理解图灵完备与通用逼近两类表达能力结论的区别及各自假设。
- 3Are Transformers universal approximators of sequence-to-sequence functions?
目标论文:证明 Transformer 能通用逼近连续的序列到序列函数。
读看排列等变函数的逼近结论、位置编码如何去掉等变限制,以及证明的大致思路。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“their architecture can learn to approximate a very large class of functions-on-sequences”
“Along with Are Transformers universal approximators of sequence-to-sequence functions?, these 4 sources, alone, together strongly rebuke any idea that they are somehow not capable of learning to act like and think like us”
“itself proven in Appendices B and C in [2]”
“> show the logic Are Transformers universal approximators of sequence-to-sequence functions?”
“This paper doesn’t have any bearing to the question of the separation of user and command data in LLMs.”