按年被提到
20212021 · 3 次2026
视觉、语音与图像生成›ViT 与视觉新架构·arXiv:2105.01601 · cs.CV

MLP-Mixer: An all-MLP Architecture for Vision

MLP-Mixer:用于视觉的纯 MLP 架构
Ilya Tolstikhin, Neil Houlsby, Alexander Kolesnikov, Lucas Beyer, Xiaohua Zhai, Thomas Unterthiner, Jessica Yung, Andreas Steiner, Daniel Keysers, Jakob Uszkoreit, Mario Lucic, Alexey Dosovitskiy · 2021

只用多层感知机、不用卷积和注意力,也能做好图像分类

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2021-05-05 · 最近 2026-06-05
5不同的人
4活跃月份
5讨论串
2,247被引(OpenAlex)

论文表明卷积和注意力都足以获得好性能,但两者都不是必需。作者提出完全基于多层感知机(MLP)的 MLP-Mixer,包含两类层:对每个图像块独立应用 MLP(混合每个位置的特征),以及跨图像块应用 MLP(混合空间信息)。在大数据集上训练或配合现代正则化方案时,它在图像分类基准上取得有竞争力的分数,预训练和推理成本与最先进模型相当。

HN 为什么提它

HN 评论者把它当作纯 MLP 视觉模型的代表,用来说明 MLP 也能扩展,并把它的跨 token 混合看作可以替代注意力的固定可学习路由。

方法难度 3 / 5约 40 分钟有时效性
读之前最好知道
1多层感知机(MLP)
2Vision Transformer 与图像分块(patch)
3卷积神经网络
4图像分类基准与预训练

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你补齐 CNN、Transformer 与视觉 Transformer 的基础,以及大数据预训练与数据高效训练的背景,从而看清 MLP-Mixer 是在替换哪些部分。

  1. 1
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    Mixer 的模块也使用残差连接,同时它要与 ResNet 类卷积网络对比。

    读残差块与整体网络结构。

  2. 2
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    Mixer 要证明注意力并非必要,需要先懂自注意力与前馈层的分工。

    读多头自注意力和位置前馈层的结构。

  3. 3
    An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale一张图胜过 16x16 个词:大规模图像识别中的 Transformer · 2020

    Mixer 的图像分块、线性嵌入与整体框架直接沿用 ViT。

    读把图像切成图块并线性嵌入的做法,以及预训练规模对效果的影响。

  4. 4
    Revisiting Unreasonable Effectiveness of Data in Deep Learning Era重新审视深度学习时代数据的不合理有效性 · 2017

    说明大规模数据(JFT-300M)对视觉模型的作用,Mixer 的预训练同样依赖大数据。

    读数据量与精度的关系曲线。

  5. 5

    大规模预训练迁移的强基线,是 Mixer 论文对比的对象。

    读预训练规模与迁移设置,理解对比表的含义。

  6. 6

    展示在较小数据上训练视觉 Transformer 的方法,是 Mixer 的另一类对比对象。

    读数据增强与蒸馏策略,了解无需超大数据时的做法。

  7. 7
    MLP-Mixer: An all-MLP Architecture for VisionMLP-Mixer:用于视觉的纯 MLP 架构 · 2021 · 就是这篇

    目标论文:只用 MLP,交替做图块内通道混合与跨图块混合,不用卷积和注意力。

    读token-mixing 与 channel-mixing 两种 MLP 层,以及与 CNN、ViT 的精度与成本对比。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用gwern · 2021-05

“You may have seen the recent splash of MLP-Mixer for image classification using perceptrons”

提到 MLP-Mixer 最近用感知机做图像分类引起关注
X-Transformers: A fully-featured transformer with experimental features原评论 ↗
引用godelski · 2023-11

“MLPs also seem to scale: (cv) MLP-Mixer, (cv) [OTHER_PAPER]”

引用它说明 MLP 也能扩展
MeshGPT: Generating Triangle Meshes with Decoder-Only Transformers原评论 ↗
引用mattalex · 2026-06

“This is known as an MLP mixer MLP-Mixer”

指出这叫 MLP mixer,用固定的学习路由矩阵代替 attention
Do transformers need three projections? Systematic study of QKV variants原评论 ↗
被提交为 story · 2 次