按年被提到
20212021 · 2 次2026
机器学习与深度学习›机器学习实践与反思·arXiv:2103.14749 · stat.ML

Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks

测试集中普遍存在的标签错误会让机器学习基准失稳
Curtis G. Northcutt, Anish Athalye, Jonas Mueller · 2021

10 个常用数据集的测试集平均至少有 3.3% 标签错误

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2021-10-28 · 最近 2023-07-28
4不同的人
3活跃月份
4讨论串
450被引(OpenAlex)

在 10 个最常用的计算机视觉、自然语言和音频数据集的测试集中发现标签错误,估计平均至少 3.3%,其中 ImageNet 验证集至少 6%。先用置信学习算法找出可疑标签,再经众包人工验证(平均 51% 的候选确实标错);结果显示,在标签噪声高的真实数据上,低容量模型可能比高容量模型更实用。

HN 为什么提它

评论者用它说明流行数据集的测试集存在大量错标(如 ImageNet 验证集至少 6%),也有人提到它催生的数据质量工具与演示。

实证研究难度 2 / 5约 40 分钟经得起时间
读之前最好知道
1机器学习基准与测试集
2置信学习(confident learning)
3众包标注(crowdsourcing)
4模型容量与泛化

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先建立深度网络泛化、记忆与标签噪声的认识,再读 Confident Learning 和 ImageNet 新测试集的工作,为理解测试集标签错误如何影响基准排名做准备。

  1. 1
    Understanding deep learning requires rethinking generalization理解深度学习需要重新思考泛化 · 2016

    说明深度网络能拟合随机标签,是理解标签错误被网络记忆的背景。

    读随机标签实验与它对传统泛化理论的冲击;理解网络容量与记忆。

  2. 2

    进一步分析网络如何记忆噪声样本,与标签错误对训练的影响有关。

    读记忆与学习真实模式在训练中的区别,以及噪声样本如何被拟合。

  3. 3
    Deep Learning is Robust to Massive Label Noise深度学习对大规模标签噪声具有鲁棒性 · 2017

    展示深度网络对大规模标签噪声的鲁棒性,帮助区分训练集噪声与测试集噪声的不同后果。

    读大量错误标签下网络仍能泛化的实验设置与结论。

  4. 4

    目标论文用 Confident Learning 找出测试集中疑似错误的标签。

    读置信学习的基本做法:用预测概率估计标签噪声并筛出可疑样本;理解其假设。

  5. 5
    Do ImageNet Classifiers Generalize to ImageNet?ImageNet 分类器能泛化到 ImageNet 吗? · 2019

    同样质疑常用基准的可靠性,是研究测试集本身是否可靠的相关工作。

    读新建测试集后模型准确率下降的现象,以及对过拟合基准的讨论。

  6. 6
    Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks测试集中普遍存在的标签错误会让机器学习基准失稳 · 2021 · 就是这篇

    目标论文:在 10 个常用数据集的测试集中找出标签错误,并研究其对基准排名的影响。

    读算法筛选加众包验证的流程、各数据集的错误率估计,以及错误如何改变模型排名。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐ckastner · 2021-12

“Also interesting in this context: this recent paper [1] analyzed some of the most popular datasets and found numerous label errors in the test sets.”

推荐,指出流行测试集存在大量标签错误
A cartel of influential datasets are dominating machine learning research原评论 ↗
引用anishathalye · 2023-07

“work that eventually resulted in this paper and demo ([LINK])”

说明这篇论文及演示源自 ImageNet 标签错误研究
Automated Data Quality at Scale原评论 ↗
被提交为 story · 2 次