按年被提到
20202023 · 5 次2026
视觉、语音与图像生成›ViT 与视觉新架构·arXiv:2010.11929 · cs.CV

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

一张图胜过 16x16 个词:大规模图像识别中的 Transformer
Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, Neil Houlsby · 2020

把图像切成 16x16 图块直接交给纯 Transformer 做分类

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 15 人首次 2021-07-10 · 最近 2026-09-07发表于 International Conference on Learning Representations
15不同的人
13活跃月份
14讨论串
36,415被引(OpenAlex)

论文表明,视觉任务并不需要依赖 CNN:把图像切成图块序列,直接用纯 Transformer(Vision Transformer,ViT)就能在图像分类上表现很好。在大规模数据上预训练、再迁移到 ImageNet、CIFAR-100、VTAB 等中小型基准时,ViT 取得了与最先进卷积网络相比的优异结果,而训练所需算力明显更少。

HN 为什么提它

评论者把它当作“图像切成图块当 token、无需先用 CNN 提取特征”的出处来引用,用来解释图像在 Transformer 里的 token 到底是什么。

奠基之作难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1Transformer 架构
2卷积神经网络(CNN)
3图像分类与 ImageNet
4预训练与迁移学习

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径补齐 ViT 的三块前置:Transformer 架构、大规模预训练的范式,以及图像侧的大数据迁移。

  1. 1
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    ViT 要对比的卷积网络基线,并给出残差连接的用法

    读理解残差块与深层卷积网络的表现,作为 ViT 对比的参照

  2. 2
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    ViT 的主体就是标准 Transformer 编码器

    读多头自注意力、位置编码与编码器层结构,跳过解码器与翻译实验

  3. 3
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    ViT 的分类 token 与先预训练再微调的流程直接来自 BERT

    读看 [CLS] 标记的用法与预训练加微调的范式

  4. 4
    Revisiting Unreasonable Effectiveness of Data in Deep Learning Era重新审视深度学习时代数据的不合理有效性 · 2017

    说明数据量增大对视觉任务的影响,ViT 同样依赖大数据集

    读JFT-300M 上数据规模与性能的关系,看大数据预训练的收益

  5. 5

    大数据预训练加迁移的卷积基线,ViT 的主要对比对象

    读BiT 的预训练与迁移流程,以及它在各基准上的结果

  6. 6
    An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale一张图胜过 16x16 个词:大规模图像识别中的 Transformer · 2020 · 就是这篇

    目标论文:纯 Transformer 处理图像块序列

    读图像切块嵌入的做法,以及数据规模如何决定它是否胜过 CNN

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用unixpickle · 2021-07

“you can even use them as discriminative models for images”

说明 Transformer 甚至可直接用作图像判别模型
Deep reinforcement learning is a waste of time (2019)原评论 ↗
引用marcyb5st · 2021-08

“recent studies [2] show that they can be applied to computer vision tasks.”

引用近期研究,说明 Transformer 可用于计算机视觉任务
Strangely Accurate AI Predictions from Blurry Medical Scans Alarms Researchers原评论 ↗
引用stevenwalton · 2022-03

“ViT[0] originally did CIFAR with it.”

说明 ViT 最初在 CIFAR 上用过,并在 ImageNet-21k 和 JFT-300M 上预训练做迁移
Transformers, originally designed to handle language, are taking on vision原评论 ↗
引用johnthewise · 2022-08

“I don't quite remember whether it was first used in Vit paper[1], but it's a fairly straight forward idea.”

提到把图像切成 patch 当 token 的做法,不确定是否始于 ViT,但思路很直接
Imagen: An AI system that creates photorealistic images from input text原评论 ↗
引用anshumankmr · 2023-03

“Very interesting. I didn't think of connecting these two dots.”

觉得很有意思,没想过把这两点联系起来,涉及 ViT 对图像 patch 用 Transformer
The Most Cited AI Papers in 2022原评论 ↗
引用mxkopy · 2023-06

“I will refer you to the Vision Transformer: An Image is Worth 16x16 Words”

指引对方去看 Vision Transformer,说明 Transformer 可用于图像识别
The AI hype bubble is the new crypto hype bubble原评论 ↗
看全部 15 条 →
引用og_kalu · 2023-06

“and the fact that you didn't need CNNs to extract features first didn't really come into light till this paper - An Image is Worth 16x16 Words”

指出直到这篇论文才让人意识到无需先用 CNN 提取特征
What Is a Transformer Model?原评论 ↗
引用og_kalu · 2023-06

“Vision Transformers don't use CNNs to extract anything first..”

纠正说 Vision Transformer 不先用 CNN 提取任何东西
What Is a Transformer Model?原评论 ↗
引用godelski · 2023-11

“ViT (ICLR 21) and DeiT (ICML 21)[4,5], and even ResNet (CVPR 16)[6] and tons of ReLU papers we can list.”

把 ViT 与 DeiT、ResNet 并列,作为简单却有价值的论文的例子
Simplifying Transformer Blocks原评论 ↗
引用famouswaffles · 2024-02

“Each image is about 258 tokens because a token in image transformer terms is literally a patch of the image.”

解释图像 Transformer 的 token 就是图像的一个 patch,一张图约 258 个 token
The killer app of Gemini Pro 1.5 is using video as an input原评论 ↗
引用llm_nerd · 2024-02

“I literally spend most of my days in ViTs, but thanks for the link.”

说自己天天都在研究 ViT,认为这个链接与所论观点无关
The killer app of Gemini Pro 1.5 is using video as an input原评论 ↗
引用freakynit · 2024-10

“Just tried it on this paper: An Image is Worth 16x16 Words”

只把它当作测试 PDF 解析的示例文档
Show HN: Doctly AI – Accurate AI-Powered PDF to Markdown Parser原评论 ↗
引用GistNoesis · 2024-12

“(2020) An Image is Worth 16x16 Words: an image is worth 16x16 words transformers for image recognition at scale”

引用原始 Vision Transformer 论文,把图像当作 16x16 的 patch
Sora is here原评论 ↗
引用ninjha · 2025-07

“Although it looks like that was just ImageNet so maybe”

指出 ViT 发现一维位置嵌入就够,但认为测试只在 ImageNet 上
Baba Is Eval原评论 ↗
引用laruss5 · 2026-09

“Vision Transformers, which apply it to images, came three years later in 2020: An Image is Worth 16x16 Words”

指出把 Transformer 用到图像的 Vision Transformer 是 2020 年才出现
Ask HN: (Why) Was the LLM breakthrough useful for images, audio, etc.?原评论 ↗
被提交为 story · 1 次