“There’s some interesting work replacing scaled dot product attention and position embeddings with fixed format MLPs [0]”
按年被提到
20212021 · 2 次2026
Pay Attention to MLPs
请关注 MLP(gMLP)
Hanxiao Liu, Zihang Dai, David R. So, Quoc V. Le · 2021
带门控的纯 MLP 架构 gMLP,在语言和视觉上可媲美 Transformer
被提及 · 4 人首次 2021-05-21 · 最近 2024-04-16
4不同的人
4活跃月份
4讨论串
103被引(OpenAlex)
论文提出基于带门控 MLP 的简单架构 gMLP,并表明它在关键的语言和视觉应用上能与 Transformer 表现相当。比较显示自注意力对视觉 Transformer 并非关键,gMLP 可达到相同精度;在 BERT 上,gMLP 的预训练困惑度与 Transformer 持平,部分下游任务更好;在微调任务表现较差时,把 gMLP 做得大得多可缩小差距。实验总体表明,随着数据和算力增加,gMLP 的扩展性与 Transformer 相当。
HN 为什么提它
HN 评论用它举例说明有人在尝试用固定格式的 MLP 取代缩放点积注意力和位置嵌入,来质疑注意力是否必需。
方法难度 3 / 5约 40 分钟有时效性
读之前最好知道
1Transformer 与自注意力
2多层感知机(MLP)
3门控机制
4BERT 预训练与 Vision Transformer
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先建立 Transformer、BERT 和 ViT 的背景,再看门控前馈和另两条去掉注意力的纯 MLP 工作,最后读 gMLP。
- 1
- 2
gMLP 在语言上的对照是 BERT 的掩码语言模型预训练。
读掩码语言模型预训练与下游微调的设置。
- 3
gMLP 在视觉上的对照是 ViT。
读图像切块并交给 Transformer 的流程。
- 4
- 5
- 6
同期的类似结论:仅用前馈层也能在 ImageNet 上表现不错。
读把注意力换成前馈层的做法与结果。
- 7Pay Attention to MLPs
目标论文:带空间门控的纯 MLP 架构 gMLP。
读空间门控单元的结构,以及与 Transformer 在视觉和语言上的对比。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用rsfern · 2024-04
提到有工作用固定格式 MLP 取代 attention 和位置编码
被提交为 story · 3 次
- Pay Attention to MLPs ↗jonathanbgn · 2021-05-21 · 2 分
- Gated MLP performs on par with transformers ↗red2awn · 2021-10-22 · 1 分
- Pay Attention to MLPs ↗fzliu · 2023-04-12 · 3 分