“Some links: [OTHER_PAPER] [OTHER_PAPER] [OTHER_PAPER] [LINK] [LINK] [OTHER_PAPER] [OTHER_PAPER] Are we done with ImageNet?”
Are we done with ImageNet?
重新标注 ImageNet 验证集,重估分类器进步与原标签的可靠性
论文追问 ImageNet 分类基准上的近期进步是否仍代表有意义的泛化,还是社区已对其标注方式的特异性过拟合。作者设计了更稳健的人工标注流程来重新标注验证集,并据此重估近期分类器,发现其收益明显小于在原标签上报告的数字;原标签也不再是这套独立收集标签的最佳预测者,说明它评估视觉模型的用处可能接近尾声。不过新标注流程基本修正了原标签的错误,仍使 ImageNet 成为未来视觉识别研究的有力基准。
HN 评论者在讨论 ImageNet 标签错误、多目标图片以及准确率究竟意味着什么时引用它,既说明当前进步仍与真实准确率相关,也说明最好的模型已超过其训练所用的原标签。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径从 ImageNet 基准和测试集重新评估的工作开始,再看被重新评估的分类器代表,最后读目标论文如何重新标注验证集。
- 1
ImageNet 基准的创建与评测方式,是目标论文质疑的对象。
读标注流程和评测指标(top-1/top-5)。
- 2
- 3
代表由架构搜索得到的高精度模型,是重新评估的一类对象。
读搜索单元再堆叠迁移的思路。
- 4
代表大规模预训练迁移的分类器,同样在重新评估之列。
读预训练规模和迁移到 ImageNet 的设置。
- 5
同样质疑分类器进步是否在旧测试集上过拟合,是最直接的先行工作。
读新测试集的构造方法,以及模型在新集上的精度下降。
- 6
估计数据集标签中的噪声,与重新标注验证集的问题直接相关。
读置信学习如何发现错误标签。
- 7Are we done with ImageNet?
目标论文:重新标注 ImageNet 验证集,重新评估分类器进步。
读新标注流程、重评后的精度变化,以及原标签的问题。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“For (b), it turns out that the ImageNet dataset is full of contradictions”
“However, per [1], progress on current ImageNet still correlates with true accuracy.”
“Are we done with ImageNet?[1] points out that the best ImageNet models that currently exist surpass the accuracy of the original labels they are trained on.”