按年被提到
20162017 · 4 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1609.04836 · cs.LG

On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima

关于深度学习的大批量训练:泛化差距与尖锐极小值
Nitish Shirish Keskar, Dheevatsa Mudigere, Jorge Nocedal, Mikhail Smelyanskiy, Ping Tak Peter Tang · 2016

大批量训练易收敛到尖锐极小值,导致泛化变差

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2016-11-22 · 最近 2025-11-02
5不同的人
5活跃月份
6讨论串
1,128被引(OpenAlex)

论文研究为何使用更大批量训练会使模型泛化能力下降。数值实验支持这样的观点:大批量方法倾向于收敛到训练函数和测试函数的尖锐极小值,而尖锐极小值泛化较差;小批量方法则一致地收敛到平坦极小值,实验支持这是梯度估计固有噪声所致。作者还讨论了几种帮助大批量方法缩小泛化差距的策略。

HN 为什么提它

评论者用它支持「批量越大越容易落入尖锐极小值、泛化越差」,在讨论多 GPU 扩大批量、显存与收敛质量的权衡时常被引用。

实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1随机梯度下降(SGD)与小批量
2损失曲面的尖锐与平坦极小值
3泛化误差(generalization gap)
4Hessian 与曲率

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我建立「深度网络损失曲面长什么样」的直觉(鞍点、局部极小、路径上的障碍),再来理解大批量训练为何会落入尖锐极小值。

  1. 1

    指出高维非凸优化的难点主要是鞍点而非局部极小,是讨论极小值性质的背景。

    读抓高维下临界点以鞍点为主的论点,以及与损失曲面 Hessian 谱的关系;saddle-free Newton 的推导可略读。

  2. 2
    The Loss Surfaces of Multilayer Networks多层网络的损失曲面 · 2014

    用自旋玻璃模型说明大网络的局部极小值质量相近,这是后文讨论「哪个极小值更好」的出发点。

    读理解大网络的局部极小值集中在较低损失带的结论;数学推导可只看结论。

  3. 3
    Qualitatively characterizing neural network optimization problems定性刻画神经网络的优化问题 · 2014

    沿初始点到解的线性路径看损失,从实验上刻画优化难度;和目标论文用的插值式可视化思路相近。

    读看线性插值损失曲线的形状及其含义,体会如何用一维切片观察损失曲面。

  4. 4
    On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima关于深度学习的大批量训练:泛化差距与尖锐极小值 · 2016 · 就是这篇

    目标论文:解释大批量训练的泛化差距,认为大批量收敛到尖锐极小值。

    读抓尖锐度(sharpness)的度量定义、小批量与大批量解附近的损失曲线对比,以及对解释的局限性保持谨慎。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐chillee · 2017-12

“I think On Large-Batch Training for Deep Learning is seminal in showing unsharp minima = generalization”

称它是展示平坦极小值对应泛化的开创性论文
An Interview with an Anonymous Data Scientist (2016)原评论 ↗
引用ogrisel · 2016-11

“Then the total batch size is growing with the number of GPUs and the convergence might be impacted both in terms of speed and solution quality (e.g. On Large-Batch Training for Deep Learning ).”

引用它说明大批量可能影响收敛速度和解的质量
MXNet – Deep Learning Framework of Choice at AWS原评论 ↗
引用mijoharas · 2017-03

“My understanding from this article is that for a greater GPU ram size you will need to increase the minibatch size which has a negative impact on the models ability to generalize[0].”

引用它支持更大的 minibatch 会损害泛化的说法
Why is so much memory needed for deep neural networks?原评论 ↗
引用IanCal · 2017-06

“Batch tradeoffs:”

把它列为 batch 权衡方面的资料
Facebook Trains ImageNet in 1 Hour原评论 ↗
引用chillee · 2017-12

“On Large-Batch Training for Deep Learning showed larger batch sizes lead to sharper minima.”

指出它表明更大的 batch size 导致更尖锐的极小值
Mathematics of Deep Learning [pdf]原评论 ↗
引用blackbear_ · 2025-11

“This noisy walk is actually quite beneficial for the final performance of the network [OTHER_PAPER], On Large-Batch Training for Deep Learning”

引用它说明这种噪声游走其实有利于网络最终表现
Backpropagation is a leaky abstraction (2016)原评论 ↗