按年被提到
20202020 · 2 次2026
大模型与语言模型›模型表达力与计算理论·arXiv:2001.04451 · cs.LG

Reformer: The Efficient Transformer

Reformer:高效的 Transformer
Nikita Kitaev, Łukasz Kaiser, Anselm Levskaya · 2020

用局部敏感哈希注意力和可逆层降低 Transformer 的计算与显存

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2020-01-19 · 最近 2026-05-06
3不同的人
3活跃月份
3讨论串
2,005被引(OpenAlex)

论文提出两项提升 Transformer 效率的技术:用局部敏感哈希(LSH)注意力替代点积注意力,把复杂度由 O(L²) 降到 O(L log L);并用可逆残差层,使激活只需存储一次而不是 N 次。得到的 Reformer 性能与标准 Transformer 相当,但在长序列上显存占用更小、速度更快。

HN 为什么提它

HN 评论者提到它,一是作为 Transformer 中可逆层节省反向传播内存的先例,二是作为早期次二次稀疏注意力方法的代表来做对比。

方法难度 4 / 5约 40 分钟经得起时间
读之前最好知道
1Transformer 架构与自注意力
2局部敏感哈希(locality-sensitive hashing)
3反向传播与激活内存
4计算复杂度分析

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先掌握标准自注意力的 O(L²) 代价,再看稀疏注意力如何处理长序列,最后读 Reformer 的哈希注意力与可逆层。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    Reformer 要改造的就是这里的缩放点积注意力和残差层。

    读缩放点积注意力与多头注意力的计算量;序列长度 L 带来的 L² 开销。

  2. 2

    较早针对长序列改造 Transformer 注意力的工作,说明长序列为何昂贵。

    读只抓住 decoder-only 结构与对注意力做压缩以处理长输入的思路;跳过摘要生成实验。

  3. 3

    Sparse Transformer 用稀疏注意力模式降低复杂度,是 Reformer 的直接对照。

    读稀疏注意力的因子分解模式与它省下的计算;对比固定稀疏模式与 LSH 的自适应分桶。

  4. 4
    Reformer: The Efficient TransformerReformer:高效的 Transformer · 2020 · 就是这篇

    目标论文:用 LSH 注意力把复杂度降到 O(L log L),并用可逆层省显存。

    读LSH 注意力(哈希分桶、分块)与可逆残差层两部分;弄清各自省的是时间还是显存。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用sinenomine · 2020-10

“The same technique, but applied by hand was recently used to speed up training for transformer language model: Reformer”

指出同样的可逆层技术被手工用于加速 Transformer 语言模型训练
Nilang.jl – A Reversible Julia DSL原评论 ↗
引用in-silico · 2026-05

“I wonder how different their method actually is from other sub-quadratic sparse attention methods like Reformer”

把 Reformer 当作早期的亚二次稀疏注意力方法,疑惑新方法有何不同
SubQ: a sub-quadratic LLM with 12M-token context原评论 ↗
被提交为 story · 1 次