按年被提到
20172024 · 2 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1712.00409 · cs.LG

Deep Learning Scaling is Predictable, Empirically

深度学习的扩展规律可经验预测
Joel Hestness, Sharan Narang, Newsha Ardalani, Gregory Diamos, Heewoo Jun, Hassan Kianinejad, Md. Mostofa Ali Patwary, Yang Yang, Yanqi Zhou · 2017

多个领域的泛化误差随数据量呈幂律下降

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2018-01-26 · 最近 2025-03-01
4不同的人
5活跃月份
5讨论串
427被引(OpenAlex)

对泛化误差和模型规模随训练集增长的变化做了大规模经验刻画,提出测量方法并在机器翻译、语言建模、图像处理和语音识别四个领域测试。结果显示泛化误差随多种因素呈幂律缩放,其幂指数(学习曲线的“陡峭程度”)尚未被理论解释;模型改进只平移误差而似乎不改变指数,模型规模随数据量亚线性增长。这些规律可辅助模型调试、设定精度目标、决定数据集增长,也能指导计算系统设计。

HN 为什么提它

评论者把它引为深度学习误差随数据和算力可预测地改善的经验证据,是早期的 scaling law 工作。

实证研究难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1泛化误差与学习曲线
2幂律(power law)与对数坐标分析
3深度学习任务基础(机器翻译、语言建模等)

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先回顾论文里涉及的图像、语言与语音几个领域各自的代表性工作,再读关于泛化与数据规模的相关研究,最后读跨领域的幂律扩展规律。

  1. 1
    ImageNet Large Scale Visual Recognition ChallengeImageNet 大规模视觉识别挑战 · 2014

    图像分类领域用的评测基准,理解后才能读懂图像一侧的学习曲线。

    读ImageNet 的数据与评测方式,以及错误率随时间的下降。

  2. 2
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    ResNet 是图像分类实验中的代表模型。

    读残差连接的设计,了解模型深度与精度的关系。

  3. 3
    Deep Speech: Scaling up end-to-end speech recognitionDeep Speech:扩展端到端语音识别 · 2014

    语音识别领域的代表性端到端工作,强调靠大数据与规模提升精度。

    读靠大规模数据与合成数据做端到端训练的思路。

  4. 4
    Exploring the Limits of Language Modeling探索语言建模的极限 · 2016

    语言建模领域在大规模数据下的代表性结果,对应语言一侧的数据规模曲线。

    读十亿词基准上模型规模与困惑度的关系。

  5. 5
    Understanding deep learning requires rethinking generalization理解深度学习需要重新思考泛化 · 2016

    挑战传统泛化理论,是理解为何增大模型和数据会改变泛化误差的相关背景。

    读随机标签实验及其含义;不必细读理论部分。

  6. 6
    Revisiting Unreasonable Effectiveness of Data in Deep Learning Era重新审视深度学习时代数据的不合理有效性 · 2017

    同期考察视觉任务中数据量与性能关系,是最接近本文问题的前作。

    读JFT-300M 上性能随数据量增长的趋势(对数关系)。

  7. 7
    Deep Learning Scaling is Predictable, Empirically深度学习的扩展规律可经验预测 · 2017 · 就是这篇

    目标论文:跨多个领域经验性地刻画泛化误差随数据量的幂律下降。

    读学习曲线的三个区域(小数据、幂律、不可约误差),以及各领域拟合出的指数。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用gdiamos · 2023-10

“We showed this in our original scaling law paper:”

说明自己在最初的扩展律论文中已展示过这一点
The convolution empire strikes back原评论 ↗
引用dpflan · 2024-04

“DL can predictably scale [1.]”

引用它说明深度学习可预测地扩展
Google’s newly formed 'Platforms and Devices' team is all about AI原评论 ↗
引用gdiamos · 2025-03

“Scaling laws just say that accuracy improves predictably - Deep Learning Scaling is Predictable, Empirically”

解释扩展律只是说准确率可预测地提升,并引用作者 2017 年的这项工作
Hot take: GPT 4.5 is a nothing burger原评论 ↗
被提交为 story · 2 次