按年被提到
20212024 · 3 次2026
大模型与语言模型›量化、解码与分词·arXiv:2105.03824 · cs.CL

FNet: Mixing Tokens with Fourier Transforms

FNet:用傅里叶变换混合 token
James Lee-Thorp, Joshua Ainslie, Ilya Eckstein, Santiago Ontanon · 2021

用傅里叶变换替代自注意力,达到 BERT 92–97% 精度且训练更快。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 7 人首次 2021-05-15 · 最近 2026-03-03发表于 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT)
7不同的人
4活跃月份
6讨论串
563被引(OpenAlex)

论文表明可以用简单的线性变换“混合”输入 token 来替换 Transformer 编码器中的自注意力子层。用不带参数的标准傅里叶变换替换后,在 GLUE 上能达到 BERT 对应模型 92–97% 的精度,在 GPU 上训练快 80%、TPU 上快 70%(512 长度)。在 Long Range Arena 上,FNet 精度与最准的高效 Transformer 相当,且在各序列长度下更快,内存占用也小。

HN 为什么提它

评论者把它当作“用 FFT 替代自注意力、以少许精度换取更低算力和能耗”的例子,在讨论高效注意力替代方案时引用。

方法难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1Transformer 架构与自注意力
2傅里叶变换(FFT)
3BERT 与 GLUE 基准
4Long Range Arena 基准

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用CGamesPlay · 2024-05

“This is the paper, which appears to be cited in hundreds of others, some of which appear to be about efficiency gains.”

指出这是 FNet 论文,被数百篇引用,部分涉及效率提升
New attention mechanisms that outperform standard multi-head attention原评论 ↗
引用westurner · 2024-05

“"Fnet: Mixing tokens with fourier transforms" (2021) FNet”

贴出 FNet 论文
New attention mechanisms that outperform standard multi-head attention原评论 ↗
引用yagizdegirmenci · 2025-02

“Google introduced this idea in 2022 with "FNet: Mixing Tokens with Fourier Transforms" [0].”

指出 Google 在此论文中提出用傅里叶变换代替 attention
The FFT Strikes Back: An Efficient Alternative to Self-Attention原评论 ↗
引用cs702 · 2025-02

“1. Take FNet.”

以 FNet 为起点,提出数据依赖的变体
The FFT Strikes Back: An Efficient Alternative to Self-Attention原评论 ↗
引用westurner · 2026-03

“self-attention can be replaced with FFT for a loss in accuracy and a reduction in kWh”

用它说明 self-attention 可换成 FFT,牺牲精度换更低 kWh
TorchLean: Formalizing Neural Networks in Lean原评论 ↗
被提交为 story · 3 次