按年被提到
20212021 · 4 次2026
视觉、语音与图像生成›卷积网络与图像识别·arXiv:2102.06171 · cs.CV

High-Performance Large-Scale Image Recognition Without Normalization

无需归一化的高性能大规模图像识别
Andrew Brock, Soham De, Samuel L. Smith, Karen Simonyan · 2021

用自适应梯度裁剪训练无 BatchNorm 的 ResNet,达到 SOTA

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2021-02-12 · 最近 2021-08-16
4不同的人
3活跃月份
4讨论串
356被引(OpenAlex)

针对批归一化依赖批大小等缺点,提出自适应梯度裁剪技术来克服无归一化 ResNet 的不稳定,并设计出明显更好的 Normalizer-Free ResNet。较小的模型在 ImageNet 上与 EfficientNet-B7 精度相当但训练快至多 8.7 倍,最大模型 top-1 达到 86.5%;在大规模预训练后微调,表现优于带批归一化的对应模型。

HN 为什么提它

评论者把它当作一个数据点:深度网络不靠批归一化也能训练,并提到相关工作正把 batchnorm 的优点提炼成更小的技巧。

方法难度 3 / 5约 50 分钟经得起时间
读之前最好知道
1批归一化(batch normalization)
2ResNet 与 EfficientNet
3梯度裁剪(gradient clipping)
4ImageNet 图像分类

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你建立批归一化、残差网络、随机深度、EfficientNet 与 AdamW 的背景,理解目标论文为何要去掉 BatchNorm,以及自适应梯度裁剪如何补上稳定性。

  1. 1
    Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift批归一化:通过减少内部协变量偏移加速深度网络训练 · 2015

    目标论文就是要去掉 BatchNorm,必须先理解它的作用与缺点。

    读批归一化的计算方式、对 batch 大小的依赖,以及它带来的训练加速与正则效果。

  2. 2
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    目标论文改进的对象是 ResNet 一族的结构与训练。

    读残差块与跳连的结构,以及 ResNet-50 作为基线的地位。

  3. 3

    随机深度是目标论文训练大模型时用到的正则手段。

    读训练时随机丢弃残差分支的做法,及其对训练稳定性与泛化的影响。

  4. 4
    EfficientNet: Rethinking Model Scaling for Convolutional Neural NetworksEfficientNet:重新思考卷积神经网络的模型缩放 · 2019

    NFNet 要在精度与速度上与 EfficientNet 比较,也借用了其缩放思路。

    读复合缩放(深度、宽度、分辨率)的想法,以及 EfficientNet 作为对比基线的精度与训练代价。

  5. 5
    Decoupled Weight Decay Regularization解耦权重衰减正则化 · 2017

    与优化器和权重衰减的设置相关,帮助理解训练细节。

    读L2 正则与权重衰减在 Adam 中为何不等价,AdamW 的做法。

  6. 6
    High-Performance Large-Scale Image Recognition Without Normalization无需归一化的高性能大规模图像识别 · 2021 · 就是这篇

    目标论文:提出自适应梯度裁剪并设计 NF-ResNet 变体,不用 BatchNorm 也达到 SOTA。

    读自适应梯度裁剪(按权重范数与梯度范数的比值裁剪)、无归一化网络的缩放方式,以及与 EfficientNet 的对比。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐gwern · 2021-08

“I find them pretty interesting because they are a datapoint”

觉得有意思,把它当作一个数据点:深度网络不用归一化技巧也能训练
How to Train 10k-Layer Vanilla Convolutional Neural Networks [pdf]原评论 ↗
引用igorkraw · 2021-04

“there are lines of work emerging that do away with batchnorm, but have distilled the positive properties into smaller techniques”

指出已有工作在去掉 batchnorm,并把其优点提炼为更小的技术
AI skills are worth less than you think (2019)原评论 ↗
被提交为 story · 2 次