“or [4] [5] [6] for efficiency.”
按年被提到
20202020 · 4 次2026
Big Bird: Transformers for Longer Sequences
Big Bird:面向更长序列的 Transformer
Manzil Zaheer, Guru Guruganesh, Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontanon, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, Amr Ahmed · 2020
稀疏注意力把 Transformer 的二次复杂度降到线性
被提及 · 5 人首次 2020-07-29 · 最近 2023-09-07
5不同的人
3活跃月份
5讨论串
1,432被引(OpenAlex)
论文针对 Transformer 全注意力在序列长度上的二次内存依赖,提出稀疏注意力机制 BigBird,把复杂度降到线性。作者证明它是序列函数的通用逼近器且图灵完备,保留了全注意力模型的这些性质,并发现 O(1) 个全局 token(如 CLS)有好处。在相近硬件上可处理的序列长度达到此前的 8 倍,在问答、摘要等任务上显著提升,并提出了基因组数据的新应用。
HN 为什么提它
HN 评论者提到它多半是作为长序列高效 Transformer 的例子,或是以芝麻街角色命名的语言模型之一。
方法难度 4 / 5约 60 分钟有时效性
读之前最好知道
1Transformer 与自注意力机制
2BERT 预训练
3稀疏注意力与计算复杂度
4图灵完备与通用逼近
学习路径
读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我建立 Transformer 全注意力的二次复杂度问题、稀疏与高效注意力的已有做法,以及 Transformer 表达能力的理论背景。
- 1
- 2
目标论文以 BERT 这类预训练模型为主要应用对象。
读抓预训练和微调的流程,以及 512 长度上限的背景。
- 3
同样是为突破 Transformer 固定上下文长度的方案,可作对比。
读抓段级循环和相对位置编码的思路。
- 4
稀疏注意力模式的直接前驱,Big Bird 的稀疏设计与之相关。
读抓几种稀疏注意力的模式和它们把复杂度降下来的方式。
- 5
- 6
Big Bird 声称稀疏注意力保持通用逼近性,这篇是对全注意力 Transformer 的相应结果。
读抓通用逼近定理的陈述和证明思路的大意。
- 7
Big Bird 同样证明了图灵完备性,这篇提供全注意力 Transformer 的对应结论。
读抓图灵完备性的结论及其所需的构造假设。
- 8Big Bird: Transformers for Longer Sequences
用稀疏注意力把二次依赖降到线性,同时保持通用逼近和图灵完备。
读抓全局、窗口、随机三类注意力的组合,理论证明的结论,以及长文档任务的实验。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用ctoth · 2020-08
把它列为提升长序列效率的稀疏注意力 Transformer
引用NaiveBayesian · 2023-09
“Big Bird: Big Bird”
把它列为以芝麻街角色命名的语言模型之一
被提交为 story · 3 次
- Big Bird: Transformers for Longer Sequences ↗tosh · 2020-07-29 · 2 分
- Big Bird: Transformers for Longer Sequences ↗lawrenceyan · 2020-08-03 · 3 分
- Big Bird: Transformers for Longer Sequences ↗umangkeshri · 2020-08-04 · 2 分