“a great survey of transformers paper”
A Survey of Transformers
系统梳理各类 Transformer 变体(X-former)的分类与进展
先简要介绍原始 Transformer,再提出一套新的 X-former 分类法,从架构改进、预训练和应用三个角度介绍各类变体,最后给出未来研究方向。
有人想要 Transformer 的全景或更严谨的数学描述时,评论者把它推荐为一篇内容更深入的综述论文。
学习路径
读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先建立标准 Transformer 与预训练模型的基础,再沿着长序列处理(段级循环、稀疏、哈希、线性注意力)和稀疏专家(MoE)两条线看各类 X-former 的代表作,最后读综述的分类框架。
- 1
综述从原始(vanilla)Transformer 讲起,所有变体都是对它的改造。
读缩放点积注意力、多头注意力、位置编码和前馈层;这些是综述分类的模块基础。
- 2
预训练 Transformer 是综述中的一大类,BERT 是编码器式预训练的代表。
读掩码语言模型和双向预训练的思路,实验细节可略读。
- 3
段级循环加相对位置编码,是改造位置编码与长上下文的代表。
读段级循环机制和相对位置编码的动机。
- 4
稀疏注意力的早期代表,综述中注意力改造一类的基础。
读分解后的稀疏注意力模式,以及它如何把计算量降下来。
- 5
- 6
线性注意力一类的代表,把注意力改写为核特征映射的形式。
读用核特征映射去掉 softmax 后,注意力如何变为线性复杂度、并等价于 RNN。
- 7
稀疏专家(MoE)前馈层的代表,对应综述里改造前馈层的方向。
读简化后的 top-1 路由和负载均衡损失;规模实验可略读。
- 8A Survey of Transformers
目标论文:对各类 Transformer 变体的系统分类综述。
读先看综述提出的分类框架(模块级、架构级、预训练、应用),再按需查具体变体。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“As a quick search, here's a survey paper from last year that has more in depth discussion and more mathematical precision[1].”
- A Survey of Transformers ↗Anon84 · 2024-04-30 · 3 分