按年被提到
20212022 · 1 次2026
视觉、语音与图像生成›ViT 与视觉新架构·arXiv:2104.05704 · cs.CV

Escaping the Big Data Paradigm with Compact Transformers

用紧凑 Transformer 走出大数据范式
Ali Hassani, Steven Walton, Nikhil Shah, Abulikemu Abuduweili, Jiachen Li, Humphrey Shi · 2021

采用卷积分词的小型 Transformer,在小数据集上胜过 CNN

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2022-03-10 · 最近 2025-07-24
3不同的人
3活跃月份
3讨论串
473被引(OpenAlex)

论文提出紧凑 Transformer(CCT),用卷积分词和合适的模型尺寸,使 Transformer 能在小数据集上避免过拟合并超过先进的 CNN。最小的模型只有 0.28M 参数,最好的模型仅用 3.7M 参数、从零训练就在 CIFAR-10 上达到 98%,还在 Flowers-102 上取得 99.76% 的新最好成绩,在 ImageNet 上达到 82.71%。

HN 为什么提它

评论者引用它说明 Transformer 也能在小数据集上从头训练,并且训练更快、模型更小。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1Vision Transformer(ViT)
2卷积神经网络与 ResNet
3过拟合与数据效率
4图像分类数据集(CIFAR-10、ImageNet)

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你建立紧凑 Transformer 的前置知识:残差卷积网络、Transformer 与 ViT,以及视觉 Transformer 为何依赖大数据、如何用卷积和蒸馏缓解。

  1. 1
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    ResNet 是小数据集上的 CNN 基线,目标论文正是要和它比较。

    读残差块与恒等捷径的设计;留意在小数据集上 CNN 的归纳偏置优势。

  2. 2
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    紧凑 Transformer 的编码器基于标准 Transformer。

    读多头自注意力与前馈层的结构。

  3. 3
    An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale一张图胜过 16x16 个词:大规模图像识别中的 Transformer · 2020

    ViT 是被改造的对象,其切块嵌入和对大数据的依赖正是目标论文要解决的问题。

    读图像切块、位置编码与分类 token;结论中关于小数据表现不佳的部分。

  4. 4
    Revisiting Unreasonable Effectiveness of Data in Deep Learning Era重新审视深度学习时代数据的不合理有效性 · 2017

    支持大数据能持续提升视觉表现的观点,也是目标论文所挑战的大数据范式的背景。

    读数据量与性能的对数线性关系;JFT-300M 实验的结论。

  5. 5

    DeiT 让 ViT 在 ImageNet 规模上训练,但仍需要蒸馏和强数据增强。

    读蒸馏 token 与训练配方;对照目标论文在更小数据集上的做法。

  6. 6
    CvT: Introducing Convolutions to Vision TransformersCvT:把卷积引入视觉 Transformer · 2021

    CvT 把卷积引入 ViT,与目标论文用卷积分词的思路接近。

    读卷积 token 嵌入如何替代切块嵌入;层级结构的设计。

  7. 7
    Escaping the Big Data Paradigm with Compact Transformers用紧凑 Transformer 走出大数据范式 · 2021 · 就是这篇

    目标论文:用卷积分词加序列池化的紧凑 Transformer,在小数据集上训练。

    读卷积分词器、序列池化与整体结构;再看小数据集上与 CNN 的对比。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用tourist_on_road · 2022-03

“However, there are recent research directions that try to address this problem [1].”

指出已有研究方向尝试解决小数据问题,即紧凑 Transformer
Transformers, originally designed to handle language, are taking on vision原评论 ↗
引用stevenwalton · 2023-12

“It does enable faster training and smaller model sizes.”

说明它让 Transformer 能在小数据上训练,更快且更小
Deep Dive into the Vision Transformers Paper (ViT)原评论 ↗
引用godelski · 2025-07

“we may run into problems when downsampling images, especially with subtle biases that those algorithms can create, which even includes tiling[3].”

引用它说明图像下采样和分块可能带来细微偏差
FastVLM: Efficient Vision Encoding for Vision Language Models原评论 ↗