“I find them pretty interesting because they are a datapoint”
High-Performance Large-Scale Image Recognition Without Normalization
用自适应梯度裁剪训练无 BatchNorm 的 ResNet,达到 SOTA
针对批归一化依赖批大小等缺点,提出自适应梯度裁剪技术来克服无归一化 ResNet 的不稳定,并设计出明显更好的 Normalizer-Free ResNet。较小的模型在 ImageNet 上与 EfficientNet-B7 精度相当但训练快至多 8.7 倍,最大模型 top-1 达到 86.5%;在大规模预训练后微调,表现优于带批归一化的对应模型。
评论者把它当作一个数据点:深度网络不靠批归一化也能训练,并提到相关工作正把 batchnorm 的优点提炼成更小的技巧。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你建立批归一化、残差网络、随机深度、EfficientNet 与 AdamW 的背景,理解目标论文为何要去掉 BatchNorm,以及自适应梯度裁剪如何补上稳定性。
- 1
目标论文就是要去掉 BatchNorm,必须先理解它的作用与缺点。
读批归一化的计算方式、对 batch 大小的依赖,以及它带来的训练加速与正则效果。
- 2
目标论文改进的对象是 ResNet 一族的结构与训练。
读残差块与跳连的结构,以及 ResNet-50 作为基线的地位。
- 3
- 4
NFNet 要在精度与速度上与 EfficientNet 比较,也借用了其缩放思路。
读复合缩放(深度、宽度、分辨率)的想法,以及 EfficientNet 作为对比基线的精度与训练代价。
- 5
- 6High-Performance Large-Scale Image Recognition Without Normalization
目标论文:提出自适应梯度裁剪并设计 NF-ResNet 变体,不用 BatchNorm 也达到 SOTA。
读自适应梯度裁剪(按权重范数与梯度范数的比值裁剪)、无归一化网络的缩放方式,以及与 EfficientNet 的对比。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“there are lines of work emerging that do away with batchnorm, but have distilled the positive properties into smaller techniques”
- High-Performance Large-Scale Image Recognition Without Normalization ↗carbocation · 2021-02-12 · 11 分
- DeepMind achieves SOTA image recognition with 8.7x faster training ↗highfrequency · 2021-02-14 · 291 分