按年被提到
20232023 · 3 次2026
视觉、语音与图像生成›ViT 与视觉新架构·arXiv:2310.16764 · cs.CV

ConvNets Match Vision Transformers at Scale

大规模下卷积网络可媲美视觉 Transformer
Samuel L. Smith, Andrew Brock, Leonard Berrada, Soham De · 2023

NFNet 在 JFT-4B 上预训练,规模化后与 ViT 持平

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2023-10-26 · 最近 2025-12-23
5不同的人
4活跃月份
6讨论串
22被引(OpenAlex)

针对「网络规模数据下 ConvNet 不如 Vision Transformer」的看法,作者用 NFNet 系列在 JFT-4B 上以 0.4k 到 110k TPU-v4 核时的算力预训练,观察到留出损失与算力之间的 log-log 缩放规律。在 ImageNet 上微调后,NFNet 与相近算力下 Vision Transformer 的已报告性能持平,最强模型 Top-1 准确率达 90.4%。

HN 为什么提它

HN 上的人用它说明在公平比较下预训练的 ConvNet 并不比 ViT 差,CNN 仍然可以做得一样好。

实证研究难度 3 / 5约 35 分钟经得起时间
读之前最好知道
1卷积神经网络(CNN)
2Vision Transformer(ViT)
3规模定律(scaling laws)
4ImageNet 预训练与微调

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐fzliu · 2024-04

“I recommend checking out this paper: ConvNets Match Vision Transformers at Scale.”

推荐这篇论文,它认为公平评估下 ConvNet 与预训练 ViT 不相上下
Vision Transformers Are Overrated原评论 ↗
引用rocauc · 2024-04

“Although the success of ViTs in computer vision is extremely impressive, in our view there is no strong evidence to suggest that pre-trained ViTs outperform pre-trained ConvNets when evaluated fairly.”

引用其观点:公平评估下没有强证据表明预训练 ViT 胜过预训练 ConvNet
Vision Transformers Are Overrated原评论 ↗
引用fzliu · 2024-04

“I'm merely saying we can get ResNet to reach the same level of performance as ViTs.”

拿它说明 ResNet 也能达到与 ViT 相当的水平
Vision Transformers Are Overrated原评论 ↗
引用D-Machine · 2025-09

“have basically equivalent performance”

引用它说明两者性能基本等价
Automatic differentiation can be incorrect原评论 ↗
引用D-Machine · 2025-12

“CNNs can still do just as well: ConvNets Match Vision Transformers at Scale”

引用它说明 CNN 仍然可以做得一样好
The Illustrated Transformer原评论 ↗
被提交为 story · 3 次