“Also interesting in this context: this recent paper [1] analyzed some of the most popular datasets and found numerous label errors in the test sets.”
Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks
10 个常用数据集的测试集平均至少有 3.3% 标签错误
在 10 个最常用的计算机视觉、自然语言和音频数据集的测试集中发现标签错误,估计平均至少 3.3%,其中 ImageNet 验证集至少 6%。先用置信学习算法找出可疑标签,再经众包人工验证(平均 51% 的候选确实标错);结果显示,在标签噪声高的真实数据上,低容量模型可能比高容量模型更实用。
评论者用它说明流行数据集的测试集存在大量错标(如 ImageNet 验证集至少 6%),也有人提到它催生的数据质量工具与演示。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先建立深度网络泛化、记忆与标签噪声的认识,再读 Confident Learning 和 ImageNet 新测试集的工作,为理解测试集标签错误如何影响基准排名做准备。
- 1
说明深度网络能拟合随机标签,是理解标签错误被网络记忆的背景。
读随机标签实验与它对传统泛化理论的冲击;理解网络容量与记忆。
- 2
进一步分析网络如何记忆噪声样本,与标签错误对训练的影响有关。
读记忆与学习真实模式在训练中的区别,以及噪声样本如何被拟合。
- 3
展示深度网络对大规模标签噪声的鲁棒性,帮助区分训练集噪声与测试集噪声的不同后果。
读大量错误标签下网络仍能泛化的实验设置与结论。
- 4
目标论文用 Confident Learning 找出测试集中疑似错误的标签。
读置信学习的基本做法:用预测概率估计标签噪声并筛出可疑样本;理解其假设。
- 5
同样质疑常用基准的可靠性,是研究测试集本身是否可靠的相关工作。
读新建测试集后模型准确率下降的现象,以及对过拟合基准的讨论。
- 6Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks
目标论文:在 10 个常用数据集的测试集中找出标签错误,并研究其对基准排名的影响。
读算法筛选加众包验证的流程、各数据集的错误率估计,以及错误如何改变模型排名。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“work that eventually resulted in this paper and demo ([LINK])”
- Our datasets are flawed. ImageNet has an error rate of ~5.8% ↗chirau · 2021-10-28 · 23 分
- Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks ↗tosh · 2023-07-28 · 1 分