按年被提到
20152015 · 3 次2026
视觉、语音与图像生成›卷积网络与图像识别·arXiv:1502.03167 · cs.LG

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

批归一化:通过减少内部协变量偏移加速深度网络训练
Sergey Ioffe, Christian Szegedy · 2015

对每个小批量归一化层输入,加速训练并允许更大学习率

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 6 人首次 2015-02-12 · 最近 2026-02-27
6不同的人
6活跃月份
7讨论串
27,821被引(OpenAlex)

指出训练中每层输入分布随前层参数变化而漂移(内部协变量偏移),使训练变慢、对初始化敏感。作者把归一化变成模型结构的一部分,对每个训练小批量做归一化,从而可使用更高的学习率、不必太在意初始化,并有一定正则化作用。应用于先进的图像分类模型时,用少 14 倍的训练步数达到同样精度;集成模型在 ImageNet 上 top-5 验证错误率 4.9%,超过人类评分者。

HN 为什么提它

评论者把它当作深度网络的标准构件之一(与 LSTM、GRU、highway 层、残差块并列),或引用其算法 1 中的移动平均细节;2015 年的帖子还用它说明谷歌 ImageNet 误差已低于 5%。

奠基之作难度 3 / 5约 35 分钟经得起时间
读之前最好知道
1神经网络训练与反向传播
2随机梯度下降(SGD)与 mini-batch
3激活函数与梯度饱和
4均值、方差与归一化

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我先理解深度网络训练中的正则、初始化和结构背景,再读批归一化如何作为网络结构的一部分加速训练。

  1. 1
    Improving neural networks by preventing co-adaptation of feature detectors通过防止特征检测器的共适应来改进神经网络 · 2012

    批归一化的论文把它和 dropout 作对比,并指出它可以减少对 dropout 的依赖。

    读dropout 作为正则的机制;之后对照批归一化的正则效应。

  2. 2
    Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification深入研究整流器:在 ImageNet 分类上超越人类水平 · 2015

    它讨论了整流器网络的初始化,批归一化要解决的正是对初始化过度敏感的问题。

    读He 初始化的推导思路和 PReLU;理解初始化为何影响极深网络的训练。

  3. 3
    Going Deeper with Convolutions用卷积走得更深 · 2014

    批归一化的主实验就是把它加到 Inception 网络上。

    读Inception 的整体结构;读目标论文时看 BN-Inception 相对原版做了哪些改动。

  4. 4
    Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift批归一化:通过减少内部协变量偏移加速深度网络训练 · 2015 · 就是这篇

    目标论文:提出对每个小批量归一化层输入。

    读第 3 节的批归一化变换公式、训练与推理时的区别,以及第 4 节在 Inception 上的实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐sja · 2016-08

“and Loffe and Szegedy's Batch Normalization paper[1].”

提到 Ioffe 和 Szegedy 的 Batch Normalization 论文
Some of the most important deep learning papers原评论 ↗
引用twelfthnight · 2015-05

“Batch Normalization Google is now below 5%”

引 Batch Normalization 论文,说明 Google 在 ImageNet 上误差已低于 5%
The state of Computer Vision and AI: we are really, really far (2012)原评论 ↗
引用walrus · 2016-04

“higher level building blocks like LSTMs[1], gated recurrent units[2], highway layers[3], batch normalization[4], and residual blocks[5]”

把 batch normalization 列为深度网络的标准构件之一
Tinker with a Neural Network in Your Browser原评论 ↗
引用walrus · 2017-03

“The exponential moving average (EMA) of the batch mean/variance is used in the batch normalizing transform (Algorithm 1 in [2]).”

指出 batch norm 变换(算法 1)用 EMA 统计均值和方差
Deep Forest: Towards an Alternative to Deep Neural Networks原评论 ↗
被提交为 story · 3 次