“You may have seen the recent splash of MLP-Mixer for image classification using perceptrons”
MLP-Mixer: An all-MLP Architecture for Vision
只用多层感知机、不用卷积和注意力,也能做好图像分类
论文表明卷积和注意力都足以获得好性能,但两者都不是必需。作者提出完全基于多层感知机(MLP)的 MLP-Mixer,包含两类层:对每个图像块独立应用 MLP(混合每个位置的特征),以及跨图像块应用 MLP(混合空间信息)。在大数据集上训练或配合现代正则化方案时,它在图像分类基准上取得有竞争力的分数,预训练和推理成本与最先进模型相当。
HN 评论者把它当作纯 MLP 视觉模型的代表,用来说明 MLP 也能扩展,并把它的跨 token 混合看作可以替代注意力的固定可学习路由。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你补齐 CNN、Transformer 与视觉 Transformer 的基础,以及大数据预训练与数据高效训练的背景,从而看清 MLP-Mixer 是在替换哪些部分。
- 1
- 2
- 3
Mixer 的图像分块、线性嵌入与整体框架直接沿用 ViT。
读把图像切成图块并线性嵌入的做法,以及预训练规模对效果的影响。
- 4
说明大规模数据(JFT-300M)对视觉模型的作用,Mixer 的预训练同样依赖大数据。
读数据量与精度的关系曲线。
- 5
大规模预训练迁移的强基线,是 Mixer 论文对比的对象。
读预训练规模与迁移设置,理解对比表的含义。
- 6
展示在较小数据上训练视觉 Transformer 的方法,是 Mixer 的另一类对比对象。
读数据增强与蒸馏策略,了解无需超大数据时的做法。
- 7MLP-Mixer: An all-MLP Architecture for Vision
目标论文:只用 MLP,交替做图块内通道混合与跨图块混合,不用卷积和注意力。
读token-mixing 与 channel-mixing 两种 MLP 层,以及与 CNN、ViT 的精度与成本对比。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“MLPs also seem to scale: (cv) MLP-Mixer, (cv) [OTHER_PAPER]”
“This is known as an MLP mixer MLP-Mixer”
- MLP-Mixer: An All-MLP Architecture for Vision ↗polyrand · 2021-05-05 · 2 分
- MLP-Mixer: An All-MLP Architecture for Vision ↗g42gregory · 2021-09-19 · 38 分