“The same technique, but applied by hand was recently used to speed up training for transformer language model: Reformer”
按年被提到
20202020 · 2 次2026
Reformer: The Efficient Transformer
Reformer:高效的 Transformer
Nikita Kitaev, Łukasz Kaiser, Anselm Levskaya · 2020
用局部敏感哈希注意力和可逆层降低 Transformer 的计算与显存
被提及 · 3 人首次 2020-01-19 · 最近 2026-05-06
3不同的人
3活跃月份
3讨论串
2,005被引(OpenAlex)
论文提出两项提升 Transformer 效率的技术:用局部敏感哈希(LSH)注意力替代点积注意力,把复杂度由 O(L²) 降到 O(L log L);并用可逆残差层,使激活只需存储一次而不是 N 次。得到的 Reformer 性能与标准 Transformer 相当,但在长序列上显存占用更小、速度更快。
HN 为什么提它
HN 评论者提到它,一是作为 Transformer 中可逆层节省反向传播内存的先例,二是作为早期次二次稀疏注意力方法的代表来做对比。
方法难度 4 / 5约 40 分钟经得起时间
读之前最好知道
1Transformer 架构与自注意力
2局部敏感哈希(locality-sensitive hashing)
3反向传播与激活内存
4计算复杂度分析
学习路径
读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先掌握标准自注意力的 O(L²) 代价,再看稀疏注意力如何处理长序列,最后读 Reformer 的哈希注意力与可逆层。
- 1
- 2
较早针对长序列改造 Transformer 注意力的工作,说明长序列为何昂贵。
读只抓住 decoder-only 结构与对注意力做压缩以处理长输入的思路;跳过摘要生成实验。
- 3
Sparse Transformer 用稀疏注意力模式降低复杂度,是 Reformer 的直接对照。
读稀疏注意力的因子分解模式与它省下的计算;对比固定稀疏模式与 LSH 的自适应分桶。
- 4Reformer: The Efficient Transformer
目标论文:用 LSH 注意力把复杂度降到 O(L log L),并用可逆层省显存。
读LSH 注意力(哈希分桶、分块)与可逆残差层两部分;弄清各自省的是时间还是显存。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用sinenomine · 2020-10
指出同样的可逆层技术被手工用于加速 Transformer 语言模型训练
引用in-silico · 2026-05
“I wonder how different their method actually is from other sub-quadratic sparse attention methods like Reformer”
把 Reformer 当作早期的亚二次稀疏注意力方法,疑惑新方法有何不同
被提交为 story · 1 次
- Reformer: The Efficient Transformer ↗blopeur · 2020-01-19 · 1 分