按年被提到
20182018 · 1 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1805.11604 · stat.ML

How Does Batch Normalization Help Optimization?

Batch Normalization 如何帮助优化?
Shibani Santurkar, Dimitris Tsipras, Andrew Ilyas, Aleksander Madry · 2018

指出 BatchNorm 有效并非因减少内部协变量偏移,而是让优化地形更平滑

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2018-12-02 · 最近 2026-03-13
3不同的人
3活跃月份
3讨论串
926被引(OpenAlex)

论文挑战了流行解释,即 BatchNorm 的作用在于减小训练中各层输入分布的变化(内部协变量偏移)。作者展示这种分布稳定性与 BatchNorm 的成功关系不大,真正的影响是让优化地形显著变得平滑,使梯度更具预测性、更稳定,从而允许更快训练。

HN 为什么提它

评论者既拿它当公式密集、难以用代码表达的机器学习论文的例子,也在 2026 年用它说明「内部协变量偏移」这一对 BatchNorm 的解释可能是错的。

实证研究难度 3 / 5约 50 分钟经得起时间
读之前最好知道
1Batch Normalization
2深度神经网络训练
3梯度下降与优化地形(loss landscape)
4Lipschitz 连续与 β-平滑性

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

弄清 BatchNorm 原本的动机与实验网络,再借损失曲面可视化的视角,读懂本文关于优化地形平滑的新解释。

  1. 1
    Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift批归一化:通过减少内部协变量偏移加速深度网络训练 · 2015

    BatchNorm 的原始论文,其内部协变量偏移解释正是本文质疑的对象。

    读抓 BatchNorm 的计算和内部协变量偏移的说法,跳过 ImageNet 实验。

  2. 2
    Very Deep Convolutional Networks for Large-Scale Image Recognition面向大规模图像识别的极深卷积网络 · 2014

    本文的实验网络之一是 VGG,用来对比有无 BatchNorm 的训练。

    读了解 VGG 的结构即可,便于看懂有无 BatchNorm 的对比。

  3. 3
    Visualizing the Loss Landscape of Neural Nets神经网络损失曲面的可视化 · 2017

    提供损失曲面平滑度的可视化视角,与本文优化地形的结论相呼应。

    读抓滤波器归一化的可视化方法,以及曲面平滑与训练难易的关系。

  4. 4
    How Does Batch Normalization Help Optimization?Batch Normalization 如何帮助优化? · 2018 · 就是这篇

    指出 BatchNorm 有效不是因为减少内部协变量偏移,而是让优化地形更平滑。

    读抓对内部协变量偏移的反驳实验,以及损失和梯度 Lipschitz 性的改善。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用Voloskaya · 2018-12

“Take this paper for example: How Does Batch Normalization Help Optimization? how would you even begin to communicate something like that through code?”

以它为例:这种公式密集的论文如何用代码来表达
Psychology’s Replication Crisis Is Real原评论 ↗
引用D-Machine · 2026-03

“see: internal covariate shift explanations for batch norm, which arguably couldn't be more wrong How Does Batch Normalization Help Optimization?”

引用它反驳 batch norm 的 internal covariate shift 解释
Executing programs inside transformers with exponentially faster inference原评论 ↗
被提交为 story · 1 次