“We showed this in our original scaling law paper:”
按年被提到
20172024 · 2 次2026
Deep Learning Scaling is Predictable, Empirically
深度学习的扩展规律可经验预测
Joel Hestness, Sharan Narang, Newsha Ardalani, Gregory Diamos, Heewoo Jun, Hassan Kianinejad, Md. Mostofa Ali Patwary, Yang Yang, Yanqi Zhou · 2017
多个领域的泛化误差随数据量呈幂律下降
被提及 · 4 人首次 2018-01-26 · 最近 2025-03-01
4不同的人
5活跃月份
5讨论串
427被引(OpenAlex)
对泛化误差和模型规模随训练集增长的变化做了大规模经验刻画,提出测量方法并在机器翻译、语言建模、图像处理和语音识别四个领域测试。结果显示泛化误差随多种因素呈幂律缩放,其幂指数(学习曲线的“陡峭程度”)尚未被理论解释;模型改进只平移误差而似乎不改变指数,模型规模随数据量亚线性增长。这些规律可辅助模型调试、设定精度目标、决定数据集增长,也能指导计算系统设计。
HN 为什么提它
评论者把它引为深度学习误差随数据和算力可预测地改善的经验证据,是早期的 scaling law 工作。
实证研究难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1泛化误差与学习曲线
2幂律(power law)与对数坐标分析
3深度学习任务基础(机器翻译、语言建模等)
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先回顾论文里涉及的图像、语言与语音几个领域各自的代表性工作,再读关于泛化与数据规模的相关研究,最后读跨领域的幂律扩展规律。
- 1
图像分类领域用的评测基准,理解后才能读懂图像一侧的学习曲线。
读ImageNet 的数据与评测方式,以及错误率随时间的下降。
- 2
- 3
语音识别领域的代表性端到端工作,强调靠大数据与规模提升精度。
读靠大规模数据与合成数据做端到端训练的思路。
- 4
- 5
挑战传统泛化理论,是理解为何增大模型和数据会改变泛化误差的相关背景。
读随机标签实验及其含义;不必细读理论部分。
- 6
同期考察视觉任务中数据量与性能关系,是最接近本文问题的前作。
读JFT-300M 上性能随数据量增长的趋势(对数关系)。
- 7Deep Learning Scaling is Predictable, Empirically
目标论文:跨多个领域经验性地刻画泛化误差随数据量的幂律下降。
读学习曲线的三个区域(小数据、幂律、不可约误差),以及各领域拟合出的指数。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用gdiamos · 2023-10
说明自己在最初的扩展律论文中已展示过这一点
引用dpflan · 2024-04
“DL can predictably scale [1.]”
引用它说明深度学习可预测地扩展
引用gdiamos · 2025-03
“Scaling laws just say that accuracy improves predictably - Deep Learning Scaling is Predictable, Empirically”
解释扩展律只是说准确率可预测地提升,并引用作者 2017 年的这项工作
被提交为 story · 2 次
- Deep Learning Scaling Is Predictable, Empirically ↗zeptomu · 2018-01-26 · 3 分
- Deep Learning Scaling Is Predictable, Empirically ↗Anon84 · 2024-11-27 · 1 分