“is an useful counterpoint to this article's comments on ImageNet overfitting”
Do ImageNet Classifiers Generalize to ImageNet?
为 CIFAR-10 和 ImageNet 新建测试集,检验模型是否过拟合旧测试集
CIFAR-10 和 ImageNet 已被密集研究近十年,重复使用同一测试集有过拟合的风险。作者严格遵循原始数据集构建流程,为二者新建测试集,检验当前分类模型对新数据的泛化程度。评估多种模型后发现准确率在 CIFAR-10 上下降 3% 到 15%,在 ImageNet 上下降 11% 到 14%,但原测试集上的准确率增益会转化为新测试集上更大的增益。结果表明准确率下降并非由适应性过拟合造成,而是模型无法泛化到比原测试集略“更难”的图像。
HN 上的人用它说明 ImageNet 和 CIFAR-10 的结果对测试集有轻微过拟合,同时旧测试集上的排名和更高的准确率大体仍能转移到新数据上。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先了解 ImageNet 基准和测试集复用的问题,再认识被检验的几类代表性卷积网络,才能看懂新测试集上的精度下降说明了什么。
- 1
目标论文要重建 ImageNet 测试集,需要了解原数据集的构造与评测方式。
读数据收集、标注流程和 top-1 与 top-5 指标。
- 2
它讨论多次复用测试集会带来的过拟合风险,正是目标论文的动机。
读排行榜过拟合与阈值化的思路,抓住自适应复用的问题。
- 3
VGG 是被评估的早期模型之一,代表朴素堆叠的深度网络。
读架构特点即可,对照后来模型在新测试集上的表现。
- 4
- 5
- 6
NASNet 属于通过架构搜索得到的新模型,是被评估的高精度模型之一。
读搜索出的单元如何堆叠,只需大意。
- 7Do ImageNet Classifiers Generalize to ImageNet?
在背景知识的基础上,看新测试集上精度下降及旧测试集排名为何依然可靠。
读新测试集的构造方法、精度下降的数据,以及对分布偏移与过拟合的讨论。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“There's a neat set of papers by Recht et al. showing results are slightly overfit to the test partitions of ImageNet and CIFAR-10”
“Some links: [OTHER_PAPER] [OTHER_PAPER] Do ImageNet Classifiers Generalize to ImageNet?”
“Better ImageNet accuracy generally corresponds to better out of distribution accuracy.”
“Also see:”