“Take this paper for example: How Does Batch Normalization Help Optimization? how would you even begin to communicate something like that through code?”
按年被提到
20182018 · 1 次2026
How Does Batch Normalization Help Optimization?
Batch Normalization 如何帮助优化?
Shibani Santurkar, Dimitris Tsipras, Andrew Ilyas, Aleksander Madry · 2018
指出 BatchNorm 有效并非因减少内部协变量偏移,而是让优化地形更平滑
被提及 · 3 人首次 2018-12-02 · 最近 2026-03-13
3不同的人
3活跃月份
3讨论串
926被引(OpenAlex)
论文挑战了流行解释,即 BatchNorm 的作用在于减小训练中各层输入分布的变化(内部协变量偏移)。作者展示这种分布稳定性与 BatchNorm 的成功关系不大,真正的影响是让优化地形显著变得平滑,使梯度更具预测性、更稳定,从而允许更快训练。
HN 为什么提它
评论者既拿它当公式密集、难以用代码表达的机器学习论文的例子,也在 2026 年用它说明「内部协变量偏移」这一对 BatchNorm 的解释可能是错的。
实证研究难度 3 / 5约 50 分钟经得起时间
读之前最好知道
1Batch Normalization
2深度神经网络训练
3梯度下降与优化地形(loss landscape)
4Lipschitz 连续与 β-平滑性
学习路径
读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出弄清 BatchNorm 原本的动机与实验网络,再借损失曲面可视化的视角,读懂本文关于优化地形平滑的新解释。
- 1
BatchNorm 的原始论文,其内部协变量偏移解释正是本文质疑的对象。
读抓 BatchNorm 的计算和内部协变量偏移的说法,跳过 ImageNet 实验。
- 2
本文的实验网络之一是 VGG,用来对比有无 BatchNorm 的训练。
读了解 VGG 的结构即可,便于看懂有无 BatchNorm 的对比。
- 3
提供损失曲面平滑度的可视化视角,与本文优化地形的结论相呼应。
读抓滤波器归一化的可视化方法,以及曲面平滑与训练难易的关系。
- 4How Does Batch Normalization Help Optimization?
指出 BatchNorm 有效不是因为减少内部协变量偏移,而是让优化地形更平滑。
读抓对内部协变量偏移的反驳实验,以及损失和梯度 Lipschitz 性的改善。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用Voloskaya · 2018-12
以它为例:这种公式密集的论文如何用代码来表达
引用D-Machine · 2026-03
“see: internal covariate shift explanations for batch norm, which arguably couldn't be more wrong How Does Batch Normalization Help Optimization?”
引用它反驳 batch norm 的 internal covariate shift 解释
被提交为 story · 1 次
- How Does Batch Normalization Help Optimization? (2018) ↗henning · 2020-04-23 · 1 分