“Paper: Revisiting Unreasonable Effectiveness of Data in Deep Learning Era”
按年被提到
20172017 · 3 次2026
Revisiting Unreasonable Effectiveness of Data in Deep Learning Era
重新审视深度学习时代数据的不合理有效性
Chen Sun, Abhinav Shrivastava, Saurabh Singh, Abhinav Gupta · 2017
用 3 亿图像的 JFT-300M 检验数据量增大对视觉任务的影响
被提及 · 5 人首次 2017-07-12 · 最近 2021-08-30
5不同的人
3活跃月份
5讨论串
2,495被引(OpenAlex)
论文问道:如果数据集扩大 10 倍或 100 倍会怎样?作者利用含 3 亿张图像、超过 3.75 亿个噪声标签的 JFT-300M 数据集,研究它用于表示学习时视觉任务的表现如何变化。结论是视觉任务性能随训练数据量的对数增长,表示学习(预训练)依然大有可为,只需训练更好的基础模型就能提升许多视觉任务,并在分类、检测、语义分割和人体姿态估计上取得新的最佳结果。
HN 为什么提它
HN 上的人引用它作为深度网络随训练数据增多而持续改进的证据,同时有人抱怨其使用的 JFT-300M 数据集是 Google 的私有数据。
实证研究难度 3 / 5约 40 分钟有时效性
读之前最好知道
1卷积神经网络与图像分类
2预训练与迁移学习
3目标检测与语义分割
4噪声标签与大规模数据集
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先了解 ImageNet 基准、残差网络和目标检测基线,再看增加 100 倍训练数据对视觉任务的影响。
- 1
目标论文要对照的 ImageNet 数据集与基准的来源。
读ImageNet 的规模、任务设置与评测方式。
- 2
- 3
本文在检测任务上用 Faster R-CNN 评估大规模预训练的效果。
读区域建议网络与检测头的整体流程。
- 4
本文的检测实验使用该论文统一实现的检测框架做比较。
读检测器的速度与精度比较方式,理解评估设置。
- 5Revisiting Unreasonable Effectiveness of Data in Deep Learning Era
目标论文:用 3 亿图像的 JFT-300M 检验数据量增大对分类、检测和分割的影响。
读性能随数据量近似对数增长的结论,以及标签噪声的讨论。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用tedd4u · 2019-01
贴出论文,作为深度网络随训练数据增加持续提升的依据
引用godelski · 2021-08
“personally it bugs me that this dataset is proprietary and used in their research.”
批评 Google 研究所用的 JFT-300M 数据集是专有的,令人不快
被提交为 story · 3 次
- Revisiting Unreasonable Effectiveness of Data in Deep Learning Era ↗dennybritz · 2017-07-12 · 3 分
- Revisiting Unreasonable Effectiveness of Data in Deep Learning Era ↗Katydid · 2017-07-17 · 1 分
- Revisiting Unreasonable Effectiveness of Data in Deep Learning Era ↗hunglee2 · 2017-07-23 · 1 分