引用hprotagonist · 2023-02
“In this short report, we ask: is the attention layer even necessary?”
引用它追问 attention 层是否真有必要
把 ViT 的注意力换成前馈层,ImageNet 上仍有 74.9%
这份简短报告把视觉 Transformer 中的注意力层换成作用在 patch 维度上的前馈层,得到交替作用于 patch 维度和特征维度的纯前馈网络。在 ImageNet 上,ViT/DeiT-base 规模的模型 top-1 准确率为 74.9%,低于 ViT 的 77.9% 和 DeiT 的 79.9%,但仍然不错,说明 patch embedding 等注意力以外的设计可能贡献更大。
评论者引用它开头的问题,用来讨论注意力层是否真是视觉 Transformer 成功的关键。
先理解注意力与 ViT,再看数据高效的 DeiT 和纯 MLP 的 MLP-Mixer,最后读这篇只换掉注意力的对照实验。
本文的基础模型 ViT 来自这里。
读图像切块、位置嵌入与分类头。
DeiT 展示在 ImageNet 上直接训练视觉 Transformer 的配方,本文的训练设置与此相关。
读数据增强与蒸馏 token 的训练配置。
目标论文:把 ViT 的注意力换成作用于图块维度的前馈层,仍能得到不错的 ImageNet 精度。
读替换后的块结构与 ImageNet 精度,思考注意力是否必要。
“In this short report, we ask: is the attention layer even necessary?”