按年被提到
20192021 · 3 次2026
视觉、语音与图像生成›卷积网络与图像识别·arXiv:1902.10811 · cs.CV

Do ImageNet Classifiers Generalize to ImageNet?

ImageNet 分类器能泛化到 ImageNet 吗?
Benjamin Recht, Rebecca Roelofs, Ludwig Schmidt, Vaishaal Shankar · 2019

为 CIFAR-10 和 ImageNet 新建测试集,检验模型是否过拟合旧测试集

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2019-09-19 · 最近 2021-12-06
5不同的人
5活跃月份
5讨论串
849被引(OpenAlex)

CIFAR-10 和 ImageNet 已被密集研究近十年,重复使用同一测试集有过拟合的风险。作者严格遵循原始数据集构建流程,为二者新建测试集,检验当前分类模型对新数据的泛化程度。评估多种模型后发现准确率在 CIFAR-10 上下降 3% 到 15%,在 ImageNet 上下降 11% 到 14%,但原测试集上的准确率增益会转化为新测试集上更大的增益。结果表明准确率下降并非由适应性过拟合造成,而是模型无法泛化到比原测试集略“更难”的图像。

HN 为什么提它

HN 上的人用它说明 ImageNet 和 CIFAR-10 的结果对测试集有轻微过拟合,同时旧测试集上的排名和更高的准确率大体仍能转移到新数据上。

实证研究难度 2 / 5约 40 分钟经得起时间
读之前最好知道
1图像分类与 ImageNet 基准
2训练集、验证集与测试集
3过拟合与自适应数据分析
4分布偏移(distribution shift)

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先了解 ImageNet 基准和测试集复用的问题,再认识被检验的几类代表性卷积网络,才能看懂新测试集上的精度下降说明了什么。

  1. 1
    ImageNet Large Scale Visual Recognition ChallengeImageNet 大规模视觉识别挑战 · 2014

    目标论文要重建 ImageNet 测试集,需要了解原数据集的构造与评测方式。

    读数据收集、标注流程和 top-1 与 top-5 指标。

  2. 2

    它讨论多次复用测试集会带来的过拟合风险,正是目标论文的动机。

    读排行榜过拟合与阈值化的思路,抓住自适应复用的问题。

  3. 3
    Very Deep Convolutional Networks for Large-Scale Image Recognition面向大规模图像识别的极深卷积网络 · 2014

    VGG 是被评估的早期模型之一,代表朴素堆叠的深度网络。

    读架构特点即可,对照后来模型在新测试集上的表现。

  4. 4
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    ResNet 是被评估的核心模型家族,残差结构也是其后模型的基础。

    读残差块的设计,不必细读检测任务部分。

  5. 5
    Densely Connected Convolutional Networks密集连接卷积网络(DenseNet) · 2016

    DenseNet 是被评估的另一类架构,用来观察不同设计的泛化表现。

    读密集连接的设计,了解它与 ResNet 的差别。

  6. 6
    Learning Transferable Architectures for Scalable Image Recognition学习可迁移的架构以实现可扩展的图像识别(NASNet) · 2017

    NASNet 属于通过架构搜索得到的新模型,是被评估的高精度模型之一。

    读搜索出的单元如何堆叠,只需大意。

  7. 7
    Do ImageNet Classifiers Generalize to ImageNet?ImageNet 分类器能泛化到 ImageNet 吗? · 2019 · 就是这篇

    在背景知识的基础上,看新测试集上精度下降及旧测试集排名为何依然可靠。

    读新测试集的构造方法、精度下降的数据,以及对分布偏移与过拟合的讨论。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐ajtulloch · 2019-09

“is an useful counterpoint to this article's comments on ImageNet overfitting”

推荐它作为对文章中 ImageNet 过拟合说法的有益反例
AI competitions don’t produce useful models原评论 ↗
推荐mattkrause · 2021-12

“There's a neat set of papers by Recht et al. showing results are slightly overfit to the test partitions of ImageNet and CIFAR-10”

推荐 Recht 等人的论文,显示结果对 ImageNet 和 CIFAR-10 测试集略有过拟合
A cartel of influential datasets are dominating machine learning research原评论 ↗
引用gwern · 2020-09

“Some links: [OTHER_PAPER] [OTHER_PAPER] Do ImageNet Classifiers Generalize to ImageNet?”

列出相关链接,讨论 ImageNet 分类器能否泛化到新测试集
Why neural networks struggle with the Game of Life原评论 ↗
引用logane · 2021-02

“Better ImageNet accuracy generally corresponds to better out of distribution accuracy.”

拿它说明 ImageNet 准确率越高,分布外准确率通常也越好
DeepMind achieves SOTA image recognition with 8.7x faster training原评论 ↗
引用YeGoblynQueenne · 2021-04

“Also see:”

附上它作为延伸阅读,新测试集上 CIFAR-10 和 ImageNet 模型准确率下降 3-15%
Are deep neural networks dramatically overfitted? (2019)原评论 ↗