“There's a neat set of papers by Recht et al. showing results are slightly overfit to the test partitions of ImageNet and CIFAR-10”
Do CIFAR-10 Classifiers Generalize to CIFAR-10?
新采集的测试集上,CIFAR-10 准确率普遍下降 4%–10%
作者为 CIFAR-10 新建了一个尽量贴近原分布、全是未见过图像的测试集来评估各种分类器,发现多种深度学习模型的准确率大幅下降 4% 至 10%。但原始准确率更高的新模型下降更小、整体表现更好,说明这种下降不太可能来自对测试集的自适应过拟合;作者把结果视为现有准确率数字很脆弱、易受数据分布细微自然变化影响的证据。
评论者把它当作「基准结果对测试集略有过拟合、但模型的相对排序基本不变」的证据,用来讨论深度学习基准的可靠性。
学习路径
读这篇之前,按顺序读书架上的 1 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出只有一篇候选与目标直接相关:先看排行榜上反复使用同一测试集会带来的自适应过拟合,再读目标论文如何用新采集的测试集来测量它。
- 1
讨论机器学习竞赛排行榜因反复提交而产生的过拟合,是目标论文要检验的问题背景。
读排行榜过拟合的机制,以及用 Ladder 算法限制信息泄露的思路。
- 2Do CIFAR-10 Classifiers Generalize to CIFAR-10?
目标论文:用新采集的 CIFAR-10 测试集测量模型准确率的下降。
读新测试集的构造方式、准确率下降的幅度,以及对自适应过拟合和分布偏移的讨论。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“They see a generalization gap, but the relative order of SoTA results remains (roughly) the same.”
“evidenced by the recent analysis of CIFAR-{10,100} [1]”
“Related research:”
“a paper that demonstrates the problem by testing CIFAR classifiers on a new version of the input data: Do CIFAR-10 Classifiers Generalize to CIFAR-10?”
“Some links: [OTHER_PAPER] Do CIFAR-10 Classifiers Generalize to CIFAR-10?”
看全部 7 条 →
“It doesn't contain this argument (unfortunate wording) but appears to support it well.”
- Do CIFAR-10 Classifiers Generalize to CIFAR-10? [pdf] ↗stablemap · 2018-06-04 · 3 分
- Do CIFAR-10 Classifiers Generalize to CIFAR-10? ↗ZeljkoS · 2019-01-27 · 1 分