按年被提到
20182018 · 5 次2026
机器学习与深度学习›机器学习实践与反思·arXiv:1806.00451 · cs.LG

Do CIFAR-10 Classifiers Generalize to CIFAR-10?

CIFAR-10 分类器能泛化到 CIFAR-10 吗?
Benjamin Recht, Rebecca Roelofs, Ludwig Schmidt, Vaishaal Shankar · 2018

新采集的测试集上,CIFAR-10 准确率普遍下降 4%–10%

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 9 人首次 2018-06-04 · 最近 2023-01-18
9不同的人
7活跃月份
9讨论串
218被引(OpenAlex)

作者为 CIFAR-10 新建了一个尽量贴近原分布、全是未见过图像的测试集来评估各种分类器,发现多种深度学习模型的准确率大幅下降 4% 至 10%。但原始准确率更高的新模型下降更小、整体表现更好,说明这种下降不太可能来自对测试集的自适应过拟合;作者把结果视为现有准确率数字很脆弱、易受数据分布细微自然变化影响的证据。

HN 为什么提它

评论者把它当作「基准结果对测试集略有过拟合、但模型的相对排序基本不变」的证据,用来讨论深度学习基准的可靠性。

实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1图像分类基准(CIFAR-10)
2测试集过拟合与自适应数据分析
3分布偏移(distribution shift)
4统计置信区间

学习路径

读这篇之前,按顺序读书架上的 1 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

只有一篇候选与目标直接相关:先看排行榜上反复使用同一测试集会带来的自适应过拟合,再读目标论文如何用新采集的测试集来测量它。

  1. 1

    讨论机器学习竞赛排行榜因反复提交而产生的过拟合,是目标论文要检验的问题背景。

    读排行榜过拟合的机制,以及用 Ladder 算法限制信息泄露的思路。

  2. 2
    Do CIFAR-10 Classifiers Generalize to CIFAR-10?CIFAR-10 分类器能泛化到 CIFAR-10 吗? · 2018 · 就是这篇

    目标论文:用新采集的 CIFAR-10 测试集测量模型准确率的下降。

    读新测试集的构造方式、准确率下降的幅度,以及对自适应过拟合和分布偏移的讨论。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐mattkrause · 2021-12

“There's a neat set of papers by Recht et al. showing results are slightly overfit to the test partitions of ImageNet and CIFAR-10”

推荐 Recht 等人的论文:结果对测试集略有过拟合
A cartel of influential datasets are dominating machine learning research原评论 ↗
引用Eridrus · 2018-06

“They see a generalization gap, but the relative order of SoTA results remains (roughly) the same.”

指出存在泛化差距,但 SoTA 的相对排名基本不变
Why do CNNs generalize so poorly to small image transformations?原评论 ↗
引用dkislyuk · 2018-06

“evidenced by the recent analysis of CIFAR-{10,100} [1]”

引用它作为 CIFAR-10 上超参数和架构过拟合的证据
Building the Software 2.0 Stack by Andrej Karpathy [video]原评论 ↗
引用Dzugaru · 2018-08

“Related research:”

列为相关研究:CIFAR-10 的 SoTA 结果对测试集过拟合
Current state of the art in objects classification原评论 ↗
引用asparagui · 2018-12

“a paper that demonstrates the problem by testing CIFAR classifiers on a new version of the input data: Do CIFAR-10 Classifiers Generalize to CIFAR-10?”

举这篇在新版数据上测试 CIFAR 分类器、证明存在该问题
Training ResNet-50 on ImageNet in 35 Epochs Using Second-Order Optimization原评论 ↗
引用gwern · 2020-09

“Some links: [OTHER_PAPER] Do CIFAR-10 Classifiers Generalize to CIFAR-10?”

补充相关论文,探讨 CIFAR-10 分类器能否泛化到新测试数据
Why neural networks struggle with the Game of Life原评论 ↗
看全部 7 条 →
引用iflp · 2023-01

“It doesn't contain this argument (unfortunate wording) but appears to support it well.”

认为论文虽无此论证,但实验很好地支持它
A Stack of Feed-Forward Layers Does Surprisingly Well on ImageNet原评论 ↗
被提交为 story · 2 次