按年被提到
20212021 · 2 次2026
视觉、语音与图像生成›ViT 与视觉新架构·arXiv:2105.08050 · cs.LG

Pay Attention to MLPs

请关注 MLP(gMLP)
Hanxiao Liu, Zihang Dai, David R. So, Quoc V. Le · 2021

带门控的纯 MLP 架构 gMLP,在语言和视觉上可媲美 Transformer

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2021-05-21 · 最近 2024-04-16
4不同的人
4活跃月份
4讨论串
103被引(OpenAlex)

论文提出基于带门控 MLP 的简单架构 gMLP,并表明它在关键的语言和视觉应用上能与 Transformer 表现相当。比较显示自注意力对视觉 Transformer 并非关键,gMLP 可达到相同精度;在 BERT 上,gMLP 的预训练困惑度与 Transformer 持平,部分下游任务更好;在微调任务表现较差时,把 gMLP 做得大得多可缩小差距。实验总体表明,随着数据和算力增加,gMLP 的扩展性与 Transformer 相当。

HN 为什么提它

HN 评论用它举例说明有人在尝试用固定格式的 MLP 取代缩放点积注意力和位置嵌入,来质疑注意力是否必需。

方法难度 3 / 5约 40 分钟有时效性
读之前最好知道
1Transformer 与自注意力
2多层感知机(MLP)
3门控机制
4BERT 预训练与 Vision Transformer

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先建立 Transformer、BERT 和 ViT 的背景,再看门控前馈和另两条去掉注意力的纯 MLP 工作,最后读 gMLP。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    gMLP 要对比和替代的就是 Transformer 的自注意力。

    读自注意力模块与前馈模块的分工。

  2. 2
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    gMLP 在语言上的对照是 BERT 的掩码语言模型预训练。

    读掩码语言模型预训练与下游微调的设置。

  3. 3
    An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale一张图胜过 16x16 个词:大规模图像识别中的 Transformer · 2020

    gMLP 在视觉上的对照是 ViT。

    读图像切块并交给 Transformer 的流程。

  4. 4
    GLU Variants Improve TransformerGLU 变体改进 Transformer · 2020

    gMLP 的门控与 GLU 一脉相承,它说明门控可以改进 Transformer 的前馈层。

    读GLU 及其变体在前馈层里的形式。

  5. 5
    MLP-Mixer: An all-MLP Architecture for VisionMLP-Mixer:用于视觉的纯 MLP 架构 · 2021

    同期的纯 MLP 视觉架构,gMLP 与它在设计上直接相关。

    读token 混合与通道混合的结构。

  6. 6
    Do You Even Need Attention? A Stack of Feed-Forward Layers Does Surprisingly Well on ImageNet你真的需要注意力吗?一叠前馈层在 ImageNet 上表现出奇地好 · 2021

    同期的类似结论:仅用前馈层也能在 ImageNet 上表现不错。

    读把注意力换成前馈层的做法与结果。

  7. 7
    Pay Attention to MLPs请关注 MLP(gMLP) · 2021 · 就是这篇

    目标论文:带空间门控的纯 MLP 架构 gMLP。

    读空间门控单元的结构,以及与 Transformer 在视觉和语言上的对比。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用rsfern · 2024-04

“There’s some interesting work replacing scaled dot product attention and position embeddings with fixed format MLPs [0]”

提到有工作用固定格式 MLP 取代 attention 和位置编码
Visualizing Attention, a Transformer's Heart [video]原评论 ↗
被提交为 story · 3 次