“Also known as PreLU, citation 1600+. The initialization scheme is widely adapted by a lot of following works.”
Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
提出 PReLU 与 He 初始化,首次在 ImageNet 上超过人类水平
论文从两方面研究整流(ReLU 类)神经网络。其一,提出参数化整流线性单元 PReLU,推广传统整流单元,几乎不增加计算开销、过拟合风险也很小,能改善模型拟合。其二,推导出专门考虑整流非线性的稳健初始化方法,使极深的整流模型可以从头直接训练。基于 PReLU 网络,在 ImageNet 2012 分类上取得 4.94% 的 top-5 测试错误率,比 ILSVRC 2014 冠军 GoogLeNet(6.66%)相对改进 26%,据作者所知首次超过该挑战中的人类水平(5.1%)。
HN 上的人把它与 Kaiming He 的 ReLU 初始化方法相提并论,称其初始化方案被后续大量工作采用,也拿它说明深度学习已在 ImageNet 上超过人类水平。
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出了解 ImageNet 基准和几代深层卷积网络(VGG、GoogLeNet、批归一化)的训练难点,才能明白 PReLU 与 He 初始化解决了什么问题。
- 1
目标论文的主要结论是在 ImageNet 上超过人类水平,需要先知道这个基准和人类误差是怎么测的。
读任务设定、top-5 误差指标和人类标注者的对比部分。
- 2
它展示了更深的网络能提升精度,也暴露出深层网络难以从零训练的问题。
读不同深度配置,以及作者用浅层网络初始化深层网络的权宜做法。
- 3
- 4
批归一化与 He 初始化都在解决深层网络训练困难,二者可对照比较。
读归一化层的前向与反向计算,以及它如何允许更大学习率。
- 5Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
在以上背景下,看针对整流激活做的 PReLU 和初始化推导。
读PReLU 的形式与梯度;He 初始化的方差推导,以及为何极深网络可以直接从零训练。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“A big breakthrough was Kaiming He's work on initialization for ReLU:”
“Since this paper along with [1] both beat human level performance on ImageNet, using seemingly unrelated techniques, it seems like there's a clear path to achieve the next state of the art result”
“Deep learning has surpassed human level performance on many tasks [1][2]”
- Surpassing Human-Level Performance on ImageNet Classification ↗LaPrometheus · 2015-02-09 · 9 分
- Surpassing Human-Level Performance on ImageNet Classification [pdf] ↗fchollet · 2015-02-09 · 53 分