按年被提到
20172017 · 3 次2026
视觉、语音与图像生成›卷积网络与图像识别·arXiv:1707.02968 · cs.CV

Revisiting Unreasonable Effectiveness of Data in Deep Learning Era

重新审视深度学习时代数据的不合理有效性
Chen Sun, Abhinav Shrivastava, Saurabh Singh, Abhinav Gupta · 2017

用 3 亿图像的 JFT-300M 检验数据量增大对视觉任务的影响

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2017-07-12 · 最近 2021-08-30
5不同的人
3活跃月份
5讨论串
2,495被引(OpenAlex)

论文问道:如果数据集扩大 10 倍或 100 倍会怎样?作者利用含 3 亿张图像、超过 3.75 亿个噪声标签的 JFT-300M 数据集,研究它用于表示学习时视觉任务的表现如何变化。结论是视觉任务性能随训练数据量的对数增长,表示学习(预训练)依然大有可为,只需训练更好的基础模型就能提升许多视觉任务,并在分类、检测、语义分割和人体姿态估计上取得新的最佳结果。

HN 为什么提它

HN 上的人引用它作为深度网络随训练数据增多而持续改进的证据,同时有人抱怨其使用的 JFT-300M 数据集是 Google 的私有数据。

实证研究难度 3 / 5约 40 分钟有时效性
读之前最好知道
1卷积神经网络与图像分类
2预训练与迁移学习
3目标检测与语义分割
4噪声标签与大规模数据集

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先了解 ImageNet 基准、残差网络和目标检测基线,再看增加 100 倍训练数据对视觉任务的影响。

  1. 1
    ImageNet Large Scale Visual Recognition ChallengeImageNet 大规模视觉识别挑战 · 2014

    目标论文要对照的 ImageNet 数据集与基准的来源。

    读ImageNet 的规模、任务设置与评测方式。

  2. 2
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    本文用 ResNet 作为主要骨干网络来测试数据规模的影响。

    读残差块结构与深度变化的网络系列。

  3. 3
    Faster R-CNN: Towards Real-Time Object Detection with Region Proposal NetworksFaster R-CNN:用区域建议网络实现实时目标检测 · 2015

    本文在检测任务上用 Faster R-CNN 评估大规模预训练的效果。

    读区域建议网络与检测头的整体流程。

  4. 4
    Speed/accuracy trade-offs for modern convolutional object detectors现代卷积目标检测器的速度与精度权衡 · 2016

    本文的检测实验使用该论文统一实现的检测框架做比较。

    读检测器的速度与精度比较方式,理解评估设置。

  5. 5
    Revisiting Unreasonable Effectiveness of Data in Deep Learning Era重新审视深度学习时代数据的不合理有效性 · 2017 · 就是这篇

    目标论文:用 3 亿图像的 JFT-300M 检验数据量增大对分类、检测和分割的影响。

    读性能随数据量近似对数增长的结论,以及标签噪声的讨论。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用tedd4u · 2019-01

“Paper: Revisiting Unreasonable Effectiveness of Data in Deep Learning Era”

贴出论文,作为深度网络随训练数据增加持续提升的依据
More Data Is Not Better and Machine Learning Is a Grind原评论 ↗
引用godelski · 2021-08

“personally it bugs me that this dataset is proprietary and used in their research.”

批评 Google 研究所用的 JFT-300M 数据集是专有的,令人不快
Show HN: We built an end-to-end encrypted alternative to Google Photos原评论 ↗
被提交为 story · 3 次