按年被提到
20212022 · 2 次2026
视觉、语音与图像生成›ViT 与视觉新架构·arXiv:2103.15808 · cs.CV

CvT: Introducing Convolutions to Vision Transformers

CvT:把卷积引入视觉 Transformer
Haiping Wu, Bin Xiao, Noel Codella, Mengchen Liu, Xiyang Dai, Lu Yuan, Lei Zhang · 2021

给 ViT 加入卷积 token 嵌入与卷积投影,参数更少、效果更好

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2022-03-10 · 最近 2025-12-23
3不同的人
3活跃月份
3讨论串
2,648被引(OpenAlex)

论文提出卷积视觉 Transformer(CvT),通过层级式 Transformer 配合新的卷积 token 嵌入,以及使用卷积投影的 Transformer 块,把 CNN 的平移、尺度、形变不变性与 Transformer 的动态注意力和全局上下文结合起来。在 ImageNet-1k 上以更少参数和更低 FLOPs 超过其他视觉 Transformer 和 ResNet,ImageNet-22k 预训练的 CvT-W24 达到 87.7% top-1,且位置编码可以去掉。

HN 为什么提它

评论者把它作为在视觉 Transformer 中加入卷积这类领域归纳偏置的例子,说明这种混合架构有助于缓解小数据问题。

方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1Vision Transformer(ViT)
2卷积神经网络(CNN)
3自注意力机制
4位置编码(positional encoding)

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你建立 CvT 的前置知识:Transformer 与 ViT 的结构、数据高效训练的 DeiT,以及卷积网络(ResNet、MobileNets)里被借用的设计。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    CvT 的 Transformer 块基于标准的多头自注意力。

    读第 3 节的缩放点积注意力与 Q、K、V 的线性投影,CvT 正是替换了这里的投影。

  2. 2
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    CvT 要引入的卷积网络性质(平移、尺度不变等)以 ResNet 一类 CNN 为代表。

    读残差块与逐阶段下采样的层级结构,对应 CvT 的多阶段设计。

  3. 3
    An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale一张图胜过 16x16 个词:大规模图像识别中的 Transformer · 2020

    CvT 是对 ViT 的直接改进,需先懂 ViT 的切块嵌入和纯 Transformer 结构。

    读图像切块、线性嵌入、位置编码与分类 token;这些在 CvT 里被替换或去掉。

  4. 4

    DeiT 是 CvT 的主要对比对象,也给出了 ViT 的数据高效训练配方。

    读训练配方与蒸馏 token;用作 CvT 实验对比的基线。

  5. 5
    MobileNets: Efficient Convolutional Neural Networks for Mobile Vision ApplicationsMobileNets:面向移动视觉应用的高效卷积神经网络 · 2017

    CvT 的卷积投影采用深度可分离卷积,其思想来自这里。

    读深度可分离卷积(depthwise 加 pointwise)的做法与计算量。

  6. 6
    CvT: Introducing Convolutions to Vision TransformersCvT:把卷积引入视觉 Transformer · 2021 · 就是这篇

    目标论文:用卷积 token 嵌入和卷积投影改造 ViT。

    读层级结构、卷积 token 嵌入、卷积投影三处改动;再看 ImageNet 上的参数与精度对比。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用tourist_on_road · 2022-03

“Also baking in some sort of domain specific inductive bias into model architecture itself can address this problem as well [2].”

说明在架构里加入领域归纳偏置也能缓解数据少的问题
Transformers, originally designed to handle language, are taking on vision原评论 ↗
引用EnricoShippole · 2022-07

“CvT Research Paper: CvT”

贴出 CvT 论文,说明在视觉 Transformer 中加入卷积
引用D-Machine · 2025-12

“there are even multiple attempts to use both self-attention and convolutions in novel architectures”

拿它说明有人尝试把 self-attention 与卷积结合成新架构
The Illustrated Transformer原评论 ↗