按年被提到
20172022 · 2 次2026
视觉、语音与图像生成›卷积网络与图像识别·arXiv:1705.10694 · cs.LG

Deep Learning is Robust to Massive Label Noise

深度学习对大规模标签噪声具有鲁棒性
David Rolnick, Andreas Veit, Serge Belongie, Nir Shavit · 2017

深度网络在正确标签被大量错误标签淹没时仍能泛化

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2022-03-22 · 最近 2024-07-25
3不同的人
3活跃月份
3讨论串
401被引(OpenAlex)

论文在 MNIST、CIFAR 和 ImageNet 上证明,即使正确标签被错误标签压倒性地稀释,深度网络仍能泛化;例如在 MNIST 上,每个干净样本混入 100 个随机标注样本后,测试准确率仍高于 90%。这一现象在多种噪声模式下成立,作者指出只需把数据集规模增大到与稀释倍数相关的“可控”程度,并分析了噪声增加如何降低有效批量大小。

HN 为什么提它

评论者引用它来反驳“垃圾数据一定会毁掉模型”,说明神经网络对噪声标签相当耐受,因此带噪数据也有用。

实证研究难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1监督学习与标签噪声
2深度神经网络训练
3随机梯度下降与批量大小
4MNIST、CIFAR、ImageNet 数据集

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你理解标签噪声鲁棒性的背景:深度网络对随机标签的拟合能力、大规模数据的作用,以及所用的卷积骨干。

  1. 1
    Understanding deep learning requires rethinking generalization理解深度学习需要重新思考泛化 · 2016

    表明大网络能拟合随机标签,与目标论文关于噪声下仍能泛化的发现形成对照。

    读随机标签实验的设置与结论:记忆能力与泛化是两回事。

  2. 2
    Revisiting Unreasonable Effectiveness of Data in Deep Learning Era重新审视深度学习时代数据的不合理有效性 · 2017

    大规模但带噪的数据(JFT)仍能提升表现,是目标论文的相关背景。

    读数据量与性能的关系,以及噪声标签数据集的使用。

  3. 3
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    ImageNet 级别的实验使用残差网络一类的卷积架构。

    读残差块的结构与训练方式。

  4. 4
    Deep Learning is Robust to Massive Label Noise深度学习对大规模标签噪声具有鲁棒性 · 2017 · 就是这篇

    目标论文:展示正确标签被大量错误标签淹没时,深度网络仍能泛化。

    读噪声注入的方式与比例、MNIST、CIFAR、ImageNet 上的测试精度,以及批大小和学习率的影响。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用momenti · 2022-03

“That's not entirely true. Neural networks are fairly robust to noisy training data (a.k.a. garbage).[0]”

反驳前述说法:神经网络对噪声训练数据相当鲁棒,并引此文为证
Deep learning on electronic medical records is doomed to fail原评论 ↗
引用dougabug · 2022-10

“In fact, generally DL is quite tolerant to label noise, especially using modern training methods such as SSL pretraining.”

拿它说明深度学习普遍能容忍标签噪声,尤其配合 SSL 预训练
Why we chose not to release Stable Diffusion 1.5 as quickly原评论 ↗
引用whiplash451 · 2024-07

“Deep learning is robust to massive label noise [1]”

引用这篇论文说明深度网络对大规模标签噪声鲁棒
A multimodal dataset with one trillion tokens原评论 ↗