“However, there are recent research directions that try to address this problem [1].”
Escaping the Big Data Paradigm with Compact Transformers
采用卷积分词的小型 Transformer,在小数据集上胜过 CNN
论文提出紧凑 Transformer(CCT),用卷积分词和合适的模型尺寸,使 Transformer 能在小数据集上避免过拟合并超过先进的 CNN。最小的模型只有 0.28M 参数,最好的模型仅用 3.7M 参数、从零训练就在 CIFAR-10 上达到 98%,还在 Flowers-102 上取得 99.76% 的新最好成绩,在 ImageNet 上达到 82.71%。
评论者引用它说明 Transformer 也能在小数据集上从头训练,并且训练更快、模型更小。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你建立紧凑 Transformer 的前置知识:残差卷积网络、Transformer 与 ViT,以及视觉 Transformer 为何依赖大数据、如何用卷积和蒸馏缓解。
- 1
ResNet 是小数据集上的 CNN 基线,目标论文正是要和它比较。
读残差块与恒等捷径的设计;留意在小数据集上 CNN 的归纳偏置优势。
- 2
- 3
ViT 是被改造的对象,其切块嵌入和对大数据的依赖正是目标论文要解决的问题。
读图像切块、位置编码与分类 token;结论中关于小数据表现不佳的部分。
- 4
支持大数据能持续提升视觉表现的观点,也是目标论文所挑战的大数据范式的背景。
读数据量与性能的对数线性关系;JFT-300M 实验的结论。
- 5
DeiT 让 ViT 在 ImageNet 规模上训练,但仍需要蒸馏和强数据增强。
读蒸馏 token 与训练配方;对照目标论文在更小数据集上的做法。
- 6
CvT 把卷积引入 ViT,与目标论文用卷积分词的思路接近。
读卷积 token 嵌入如何替代切块嵌入;层级结构的设计。
- 7Escaping the Big Data Paradigm with Compact Transformers
目标论文:用卷积分词加序列池化的紧凑 Transformer,在小数据集上训练。
读卷积分词器、序列池化与整体结构;再看小数据集上与 CNN 的对比。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“It does enable faster training and smaller model sizes.”
“we may run into problems when downsampling images, especially with subtle biases that those algorithms can create, which even includes tiling[3].”