按年被提到
20212023 · 2 次2026
视觉、语音与图像生成›ViT 与视觉新架构·arXiv:2105.02723 · cs.CV

Do You Even Need Attention? A Stack of Feed-Forward Layers Does Surprisingly Well on ImageNet

你真的需要注意力吗?一叠前馈层在 ImageNet 上表现出奇地好
Luke Melas-Kyriazi · 2021

把 ViT 的注意力换成前馈层,ImageNet 上仍有 74.9%

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2021-05-19 · 最近 2023-02-10
3不同的人
3活跃月份
3讨论串
95被引(OpenAlex)

这份简短报告把视觉 Transformer 中的注意力层换成作用在 patch 维度上的前馈层,得到交替作用于 patch 维度和特征维度的纯前馈网络。在 ImageNet 上,ViT/DeiT-base 规模的模型 top-1 准确率为 74.9%,低于 ViT 的 77.9% 和 DeiT 的 79.9%,但仍然不错,说明 patch embedding 等注意力以外的设计可能贡献更大。

HN 为什么提它

评论者引用它开头的问题,用来讨论注意力层是否真是视觉 Transformer 成功的关键。

实证研究难度 3 / 5约 15 分钟经得起时间
读之前最好知道
1Vision Transformer(ViT)
2多头注意力(multi-head attention)
3图像分类与 ImageNet
4patch embedding

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解注意力与 ViT,再看数据高效的 DeiT 和纯 MLP 的 MLP-Mixer,最后读这篇只换掉注意力的对照实验。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    本文要替换掉的多头注意力来自这里。

    读多头注意力与前馈层在块中的位置。

  2. 2
    An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale一张图胜过 16x16 个词:大规模图像识别中的 Transformer · 2020

    本文的基础模型 ViT 来自这里。

    读图像切块、位置嵌入与分类头。

  3. 3

    DeiT 展示在 ImageNet 上直接训练视觉 Transformer 的配方,本文的训练设置与此相关。

    读数据增强与蒸馏 token 的训练配置。

  4. 4
    MLP-Mixer: An all-MLP Architecture for VisionMLP-Mixer:用于视觉的纯 MLP 架构 · 2021

    同期的纯 MLP 视觉架构,结论与本文相近,对照阅读很有价值。

    读token 混合与通道混合两类 MLP。

  5. 5
    Do You Even Need Attention? A Stack of Feed-Forward Layers Does Surprisingly Well on ImageNet你真的需要注意力吗?一叠前馈层在 ImageNet 上表现出奇地好 · 2021 · 就是这篇

    目标论文:把 ViT 的注意力换成作用于图块维度的前馈层,仍能得到不错的 ImageNet 精度。

    读替换后的块结构与 ImageNet 精度,思考注意力是否必要。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用hprotagonist · 2023-02

“In this short report, we ask: is the attention layer even necessary?”

引用它追问 attention 层是否真有必要
Understanding and Coding the Self-Attention Mechanism of Large Language Models原评论 ↗
被提交为 story · 2 次