按年被提到
20202021 · 3 次2026
视觉、语音与图像生成›卷积网络与图像识别·arXiv:2006.07159 · cs.CV

Are we done with ImageNet?

我们已经做完 ImageNet 了吗?
Lucas Beyer, Olivier J. Hénaff, Alexander Kolesnikov, Xiaohua Zhai, Aäron van den Oord · 2020

重新标注 ImageNet 验证集,重估分类器进步与原标签的可靠性

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2020-09-24 · 最近 2021-09-25
3不同的人
4活跃月份
4讨论串
259被引(OpenAlex)

论文追问 ImageNet 分类基准上的近期进步是否仍代表有意义的泛化,还是社区已对其标注方式的特异性过拟合。作者设计了更稳健的人工标注流程来重新标注验证集,并据此重估近期分类器,发现其收益明显小于在原标签上报告的数字;原标签也不再是这套独立收集标签的最佳预测者,说明它评估视觉模型的用处可能接近尾声。不过新标注流程基本修正了原标签的错误,仍使 ImageNet 成为未来视觉识别研究的有力基准。

HN 为什么提它

HN 评论者在讨论 ImageNet 标签错误、多目标图片以及准确率究竟意味着什么时引用它,既说明当前进步仍与真实准确率相关,也说明最好的模型已超过其训练所用的原标签。

实证研究难度 3 / 5约 40 分钟有时效性
读之前最好知道
1图像分类与 ImageNet 基准
2卷积神经网络
3标注噪声与评测协议
4准确率与泛化

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径从 ImageNet 基准和测试集重新评估的工作开始,再看被重新评估的分类器代表,最后读目标论文如何重新标注验证集。

  1. 1
    ImageNet Large Scale Visual Recognition ChallengeImageNet 大规模视觉识别挑战 · 2014

    ImageNet 基准的创建与评测方式,是目标论文质疑的对象。

    读标注流程和评测指标(top-1/top-5)。

  2. 2
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    被重新评估的主流分类器之一,也是许多后续模型的骨干。

    读残差网络的结构;了解它在 ImageNet 上的成绩。

  3. 3
    Learning Transferable Architectures for Scalable Image Recognition学习可迁移的架构以实现可扩展的图像识别(NASNet) · 2017

    代表由架构搜索得到的高精度模型,是重新评估的一类对象。

    读搜索单元再堆叠迁移的思路。

  4. 4

    代表大规模预训练迁移的分类器,同样在重新评估之列。

    读预训练规模和迁移到 ImageNet 的设置。

  5. 5
    Do ImageNet Classifiers Generalize to ImageNet?ImageNet 分类器能泛化到 ImageNet 吗? · 2019

    同样质疑分类器进步是否在旧测试集上过拟合,是最直接的先行工作。

    读新测试集的构造方法,以及模型在新集上的精度下降。

  6. 6

    估计数据集标签中的噪声,与重新标注验证集的问题直接相关。

    读置信学习如何发现错误标签。

  7. 7
    Are we done with ImageNet?我们已经做完 ImageNet 了吗? · 2020 · 就是这篇

    目标论文:重新标注 ImageNet 验证集,重新评估分类器进步。

    读新标注流程、重评后的精度变化,以及原标签的问题。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用gwern · 2020-09

“Some links: [OTHER_PAPER] [OTHER_PAPER] [OTHER_PAPER] [LINK] [LINK] [OTHER_PAPER] [OTHER_PAPER] Are we done with ImageNet?”

在一串链接里列出它,讨论 ImageNet 的进展是否仍有评估意义
Why neural networks struggle with the Game of Life原评论 ↗
引用logane · 2021-02

“For (b), it turns out that the ImageNet dataset is full of contradictions”

引用它说明 ImageNet 数据集充满矛盾,如标签错误和多物体图像
DeepMind achieves SOTA image recognition with 8.7x faster training原评论 ↗
引用Veedrac · 2021-04

“However, per [1], progress on current ImageNet still correlates with true accuracy.”

引用它说明尽管有标签错误,ImageNet 上的进展仍与真实准确率相关
Error-riddled data sets are warping our sense of how good AI is原评论 ↗
引用Veedrac · 2021-09

“Are we done with ImageNet?[1] points out that the best ImageNet models that currently exist surpass the accuracy of the original labels they are trained on.”

引用它指出现有最佳 ImageNet 模型已超过训练所用原始标签的准确率
Deep Learning's Diminishing Returns原评论 ↗