按年被提到
20212021 · 1 次2026
大模型与语言模型›模型表达力与计算理论·arXiv:2106.04554 · cs.LG

A Survey of Transformers

Transformer 综述
Tianyang Lin, Yuxin Wang, Xiangyang Liu, Xipeng Qiu · 2021

系统梳理各类 Transformer 变体(X-former)的分类与进展

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2021-08-15 · 最近 2024-04-30
3不同的人
3活跃月份
3讨论串
1,502被引(OpenAlex)

先简要介绍原始 Transformer,再提出一套新的 X-former 分类法,从架构改进、预训练和应用三个角度介绍各类变体,最后给出未来研究方向。

HN 为什么提它

有人想要 Transformer 的全景或更严谨的数学描述时,评论者把它推荐为一篇内容更深入的综述论文。

综述难度 3 / 5约 90 分钟有时效性
读之前最好知道
1Transformer 与自注意力
2神经网络基础
3NLP 预训练
4序列建模

学习路径

读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先建立标准 Transformer 与预训练模型的基础,再沿着长序列处理(段级循环、稀疏、哈希、线性注意力)和稀疏专家(MoE)两条线看各类 X-former 的代表作,最后读综述的分类框架。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    综述从原始(vanilla)Transformer 讲起,所有变体都是对它的改造。

    读缩放点积注意力、多头注意力、位置编码和前馈层;这些是综述分类的模块基础。

  2. 2
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    预训练 Transformer 是综述中的一大类,BERT 是编码器式预训练的代表。

    读掩码语言模型和双向预训练的思路,实验细节可略读。

  3. 3
    Transformer-XL: Attentive Language Models Beyond a Fixed-Length ContextTransformer-XL:超越固定长度上下文的注意力语言模型 · 2019

    段级循环加相对位置编码,是改造位置编码与长上下文的代表。

    读段级循环机制和相对位置编码的动机。

  4. 4

    稀疏注意力的早期代表,综述中注意力改造一类的基础。

    读分解后的稀疏注意力模式,以及它如何把计算量降下来。

  5. 5
    Reformer: The Efficient TransformerReformer:高效的 Transformer · 2020

    用局部敏感哈希近似注意力、可逆层省显存,是另一类高效注意力。

    读LSH 注意力的分桶思路和可逆残差层。

  6. 6
    Transformers are RNNs: Fast Autoregressive Transformers with Linear AttentionTransformer 就是 RNN:基于线性注意力的快速自回归 Transformer · 2020

    线性注意力一类的代表,把注意力改写为核特征映射的形式。

    读用核特征映射去掉 softmax 后,注意力如何变为线性复杂度、并等价于 RNN。

  7. 7
    Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient SparsitySwitch Transformer:用简单高效的稀疏性扩展到万亿参数模型 · 2021

    稀疏专家(MoE)前馈层的代表,对应综述里改造前馈层的方向。

    读简化后的 top-1 路由和负载均衡损失;规模实验可略读。

  8. 8
    A Survey of TransformersTransformer 综述 · 2021 · 就是这篇

    目标论文:对各类 Transformer 变体的系统分类综述。

    读先看综述提出的分类框架(模块级、架构级、预训练、应用),再按需查具体变体。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐solomatov · 2021-08

“a great survey of transformers paper”

推荐,称是一篇很好的 Transformer 综述
"TL;DR" on Recent Transformers Papers原评论 ↗
推荐godelski · 2022-07

“As a quick search, here's a survey paper from last year that has more in depth discussion and more mathematical precision[1].”

推荐这篇综述,讨论更深入,数学上也更精确
Formal Algorithms for Transformers原评论 ↗
被提交为 story · 1 次