“I recommend checking out this paper: ConvNets Match Vision Transformers at Scale.”
按年被提到
20232023 · 3 次2026
ConvNets Match Vision Transformers at Scale
大规模下卷积网络可媲美视觉 Transformer
Samuel L. Smith, Andrew Brock, Leonard Berrada, Soham De · 2023
NFNet 在 JFT-4B 上预训练,规模化后与 ViT 持平
被推荐 · 5 人首次 2023-10-26 · 最近 2025-12-23
5不同的人
4活跃月份
6讨论串
22被引(OpenAlex)
针对「网络规模数据下 ConvNet 不如 Vision Transformer」的看法,作者用 NFNet 系列在 JFT-4B 上以 0.4k 到 110k TPU-v4 核时的算力预训练,观察到留出损失与算力之间的 log-log 缩放规律。在 ImageNet 上微调后,NFNet 与相近算力下 Vision Transformer 的已报告性能持平,最强模型 Top-1 准确率达 90.4%。
HN 为什么提它
HN 上的人用它说明在公平比较下预训练的 ConvNet 并不比 ViT 差,CNN 仍然可以做得一样好。
实证研究难度 3 / 5约 35 分钟经得起时间
读之前最好知道
1卷积神经网络(CNN)
2Vision Transformer(ViT)
3规模定律(scaling laws)
4ImageNet 预训练与微调
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及推荐fzliu · 2024-04
推荐这篇论文,它认为公平评估下 ConvNet 与预训练 ViT 不相上下
引用rocauc · 2024-04
“Although the success of ViTs in computer vision is extremely impressive, in our view there is no strong evidence to suggest that pre-trained ViTs outperform pre-trained ConvNets when evaluated fairly.”
引用其观点:公平评估下没有强证据表明预训练 ViT 胜过预训练 ConvNet
引用fzliu · 2024-04
“I'm merely saying we can get ResNet to reach the same level of performance as ViTs.”
拿它说明 ResNet 也能达到与 ViT 相当的水平
引用D-Machine · 2025-09
“have basically equivalent performance”
引用它说明两者性能基本等价
引用D-Machine · 2025-12
“CNNs can still do just as well: ConvNets Match Vision Transformers at Scale”
引用它说明 CNN 仍然可以做得一样好
被提交为 story · 3 次
- ConvNets Match Vision Transformers at Scale ↗sashank_1509 · 2023-10-26 · 1 分
- ConvNets Match Vision Transformers at Scale ↗panabee · 2023-10-26 · 1 分
- ConvNets Match Vision Transformers at Scale ↗fzliu · 2023-10-29 · 1 分