按年被提到
20202020 · 3 次2026
大模型与语言模型›模型表达力与计算理论·arXiv:2006.04768 · cs.LG

Linformer: Self-Attention with Linear Complexity

Linformer:线性复杂度的自注意力
Sinong Wang, Belinda Z. Li, Madian Khabsa, Han Fang, Hao Ma · 2020

用低秩近似把自注意力复杂度从 O(n²) 降到 O(n)

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2020-06-10 · 最近 2020-08-22
3不同的人
3活跃月份
3讨论串
1,264被引(OpenAlex)

标准自注意力在序列长度上需要 O(n²) 的时间和空间,使长序列训练与部署代价高昂。论文证明自注意力可以用低秩矩阵近似,并据此提出新的自注意力机制,把时间和空间复杂度都降到 O(n)。得到的线性 Transformer,即 Linformer,性能与标准 Transformer 相当,而显存和时间更省。

HN 为什么提它

HN 评论者提到它作为线性复杂度自注意力的高效 Transformer 代表,并指出其加速只在序列超过约 1024 个 token 之后才显现。

方法难度 4 / 5约 40 分钟经得起时间
读之前最好知道
1Transformer 与自注意力
2低秩近似与奇异值分解(SVD)
3计算复杂度分析
4Johnson–Lindenstrauss 随机投影

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解标准自注意力及其二次复杂度,再看其他高效注意力方案,最后读 Linformer 的低秩近似。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    Linformer 要近似的就是这里的自注意力。

    读缩放点积注意力、O(n²) 的时间与空间代价。

  2. 2
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    Linformer 的预训练与下游评测以 BERT 类模型为基础。

    读掩码语言模型预训练与微调流程。

  3. 3

    稀疏注意力是降低复杂度的另一条路线,可对照低秩思路。

    读稀疏注意力模式及其复杂度。

  4. 4
    Reformer: The Efficient TransformerReformer:高效的 Transformer · 2020

    Reformer 用哈希注意力降复杂度,是 Linformer 对比的高效 Transformer 之一。

    读LSH 注意力的复杂度,以及它与低秩近似的不同。

  5. 5
    RoBERTa: A Robustly Optimized BERT Pretraining ApproachRoBERTa:稳健优化的 BERT 预训练方法 · 2019

    RoBERTa 的预训练配置是衡量 Linformer 预训练效果的常用基线。

    读预训练超参数与数据设置,作为对照基线。

  6. 6
    Linformer: Self-Attention with Linear ComplexityLinformer:线性复杂度的自注意力 · 2020 · 就是这篇

    目标论文:证明自注意力矩阵近似低秩,并据此做线性复杂度注意力。

    读低秩性的谱分析,以及对 key 与 value 做线性投影降维的做法。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用101101001010 · 2020-07

“Linformer is a different project from the one linked in [LINK]”

澄清 Linformer 是另一个项目,并提到其加速只在超过 1024 个 token 时出现
The Reformer – Pushing the limits of language modeling原评论 ↗
引用ctoth · 2020-08

“or [4] [5] [6] for efficiency.”

把它列为提升长序列效率的线性复杂度自注意力方案
GPT-3 has no idea what it’s talking about原评论 ↗
被提交为 story · 1 次