按年被提到
20182024 · 3 次2026
机器学习与深度学习›训练加速与低精度计算·arXiv:1812.06162 · cs.LG

An Empirical Model of Large-Batch Training

大批量训练的经验模型
Sam McCandlish, Jared Kaplan, Dario Amodei, OpenAI Dota Team · 2018

用梯度噪声尺度预测各类任务能用的最大有效批量

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2024-05-14 · 最近 2024-12-31
3不同的人
3活跃月份
3讨论串
128被引(OpenAlex)

论文表明,一个简单且易测的统计量「梯度噪声尺度」可以预测多种任务的最大有效批量,涵盖监督学习(MNIST、ImageNet 等)、强化学习(Atari、Dota)和生成模型。噪声尺度随损失下降而增大,主要通过模型性能的提升而依赖模型规模;论文的理论还描述了计算效率与时间效率的权衡,并粗略刻画了自适应批量训练的收益。

HN 为什么提它

评论者引用它说明增大批量大小的收益会递减,训练时存在效率上的权衡。

实证研究难度 3 / 5约 60 分钟经得起时间
读之前最好知道
1随机梯度下降(SGD)
2批量大小与学习率
3梯度方差与噪声
4深度学习训练基础

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你建立批量大小与训练效率关系的背景:优化器、数据并行实测、小批量研究和经验扩展规律,再读梯度噪声尺度模型。

  1. 1
    Adam: A Method for Stochastic OptimizationAdam:一种随机优化方法 · 2014

    论文中梯度噪声尺度与最优批量的讨论建立在 SGD 与 Adam 等优化器之上。

    读自适应矩估计的更新规则,以及学习率与批量的关系;不必深究收敛证明。

  2. 2

    同一批作者用大规模实验测量批量大小对训练步数的影响,是本文理论的经验前身。

    读步数随批量变化的曲线:先线性缩放再饱和;不同任务的差异。

  3. 3
    Revisiting Small Batch Training for Deep Neural Networks重新审视深度神经网络的小批量训练 · 2018

    从相反方向讨论小批量训练的稳定性与泛化,帮你理解批量选择的权衡。

    读小批量与大批量在泛化和学习率设置上的对比结论。

  4. 4
    Deep Learning Scaling is Predictable, Empirically深度学习的扩展规律可经验预测 · 2017

    说明深度学习的误差随数据量呈经验幂律,与本文把批量上限与任务难度联系起来的思路相呼应。

    读幂律曲线的形态与跨领域的一致性;细节略读。

  5. 5
    An Empirical Model of Large-Batch Training大批量训练的经验模型 · 2018 · 就是这篇

    目标论文:用梯度噪声尺度预测不同任务可用的最大有效批量。

    读噪声尺度的定义与估计方法,以及它与临界批量、数据效率的关系。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用deddy · 2024-12

“There is a trade here with diminishing returns of increasing batch size as well.”

引用它说明增大 batch size 存在收益递减的权衡
Beyond Gradient Averaging in Parallel Optimization原评论 ↗
被提交为 story · 2 次