“and Loffe and Szegedy's Batch Normalization paper[1].”
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
对每个小批量归一化层输入,加速训练并允许更大学习率
指出训练中每层输入分布随前层参数变化而漂移(内部协变量偏移),使训练变慢、对初始化敏感。作者把归一化变成模型结构的一部分,对每个训练小批量做归一化,从而可使用更高的学习率、不必太在意初始化,并有一定正则化作用。应用于先进的图像分类模型时,用少 14 倍的训练步数达到同样精度;集成模型在 ImageNet 上 top-5 验证错误率 4.9%,超过人类评分者。
评论者把它当作深度网络的标准构件之一(与 LSTM、GRU、highway 层、残差块并列),或引用其算法 1 中的移动平均细节;2015 年的帖子还用它说明谷歌 ImageNet 误差已低于 5%。
学习路径
读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我先理解深度网络训练中的正则、初始化和结构背景,再读批归一化如何作为网络结构的一部分加速训练。
- 1
批归一化的论文把它和 dropout 作对比,并指出它可以减少对 dropout 的依赖。
读dropout 作为正则的机制;之后对照批归一化的正则效应。
- 2
它讨论了整流器网络的初始化,批归一化要解决的正是对初始化过度敏感的问题。
读He 初始化的推导思路和 PReLU;理解初始化为何影响极深网络的训练。
- 3
批归一化的主实验就是把它加到 Inception 网络上。
读Inception 的整体结构;读目标论文时看 BN-Inception 相对原版做了哪些改动。
- 4Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
目标论文:提出对每个小批量归一化层输入。
读第 3 节的批归一化变换公式、训练与推理时的区别,以及第 4 节在 Inception 上的实验。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Batch Normalization Google is now below 5%”
“higher level building blocks like LSTMs[1], gated recurrent units[2], highway layers[3], batch normalization[4], and residual blocks[5]”
“The exponential moving average (EMA) of the batch mean/variance is used in the batch normalizing transform (Algorithm 1 in [2]).”
- Ioffe and Szegedy get 4.8% top-5 test on ImageNet(beating recent MSR result) ↗cosminro · 2015-02-12 · 1 分
- Batch Normalization: Accelerating Deep Network Training [pdf] ↗singularity2001 · 2015-02-13 · 134 分
- Batch Normalization: Accelerating Deep Network Training (2015) ↗doener · 2026-02-27 · 1 分