“Also baking in some sort of domain specific inductive bias into model architecture itself can address this problem as well [2].”
CvT: Introducing Convolutions to Vision Transformers
给 ViT 加入卷积 token 嵌入与卷积投影,参数更少、效果更好
论文提出卷积视觉 Transformer(CvT),通过层级式 Transformer 配合新的卷积 token 嵌入,以及使用卷积投影的 Transformer 块,把 CNN 的平移、尺度、形变不变性与 Transformer 的动态注意力和全局上下文结合起来。在 ImageNet-1k 上以更少参数和更低 FLOPs 超过其他视觉 Transformer 和 ResNet,ImageNet-22k 预训练的 CvT-W24 达到 87.7% top-1,且位置编码可以去掉。
评论者把它作为在视觉 Transformer 中加入卷积这类领域归纳偏置的例子,说明这种混合架构有助于缓解小数据问题。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你建立 CvT 的前置知识:Transformer 与 ViT 的结构、数据高效训练的 DeiT,以及卷积网络(ResNet、MobileNets)里被借用的设计。
- 1
- 2
CvT 要引入的卷积网络性质(平移、尺度不变等)以 ResNet 一类 CNN 为代表。
读残差块与逐阶段下采样的层级结构,对应 CvT 的多阶段设计。
- 3
CvT 是对 ViT 的直接改进,需先懂 ViT 的切块嵌入和纯 Transformer 结构。
读图像切块、线性嵌入、位置编码与分类 token;这些在 CvT 里被替换或去掉。
- 4
DeiT 是 CvT 的主要对比对象,也给出了 ViT 的数据高效训练配方。
读训练配方与蒸馏 token;用作 CvT 实验对比的基线。
- 5
CvT 的卷积投影采用深度可分离卷积,其思想来自这里。
读深度可分离卷积(depthwise 加 pointwise)的做法与计算量。
- 6CvT: Introducing Convolutions to Vision Transformers
目标论文:用卷积 token 嵌入和卷积投影改造 ViT。
读层级结构、卷积 token 嵌入、卷积投影三处改动;再看 ImageNet 上的参数与精度对比。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“CvT Research Paper: CvT”
“there are even multiple attempts to use both self-attention and convolutions in novel architectures”