按年被提到
20152015 · 3 次2026
视觉、语音与图像生成›卷积网络与图像识别·arXiv:1502.01852 · cs.CV

Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

深入研究整流器:在 ImageNet 分类上超越人类水平
Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun · 2015

提出 PReLU 与 He 初始化,首次在 ImageNet 上超过人类水平

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 6 人首次 2015-02-09 · 最近 2023-12-22
6不同的人
4活跃月份
6讨论串
19,848被引(OpenAlex)

论文从两方面研究整流(ReLU 类)神经网络。其一,提出参数化整流线性单元 PReLU,推广传统整流单元,几乎不增加计算开销、过拟合风险也很小,能改善模型拟合。其二,推导出专门考虑整流非线性的稳健初始化方法,使极深的整流模型可以从头直接训练。基于 PReLU 网络,在 ImageNet 2012 分类上取得 4.94% 的 top-5 测试错误率,比 ILSVRC 2014 冠军 GoogLeNet(6.66%)相对改进 26%,据作者所知首次超过该挑战中的人类水平(5.1%)。

HN 为什么提它

HN 上的人把它与 Kaiming He 的 ReLU 初始化方法相提并论,称其初始化方案被后续大量工作采用,也拿它说明深度学习已在 ImageNet 上超过人类水平。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1卷积神经网络(CNN)
2ReLU 激活函数
3反向传播与权重初始化
4ImageNet 分类任务

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

了解 ImageNet 基准和几代深层卷积网络(VGG、GoogLeNet、批归一化)的训练难点,才能明白 PReLU 与 He 初始化解决了什么问题。

  1. 1
    ImageNet Large Scale Visual Recognition ChallengeImageNet 大规模视觉识别挑战 · 2014

    目标论文的主要结论是在 ImageNet 上超过人类水平,需要先知道这个基准和人类误差是怎么测的。

    读任务设定、top-5 误差指标和人类标注者的对比部分。

  2. 2
    Very Deep Convolutional Networks for Large-Scale Image Recognition面向大规模图像识别的极深卷积网络 · 2014

    它展示了更深的网络能提升精度,也暴露出深层网络难以从零训练的问题。

    读不同深度配置,以及作者用浅层网络初始化深层网络的权宜做法。

  3. 3
    Going Deeper with Convolutions用卷积走得更深 · 2014

    它是目标论文用来对比的当时最好结果之一,并在训练中用了辅助分类器。

    读22 层网络结构与辅助分类器的作用。

  4. 4
    Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift批归一化:通过减少内部协变量偏移加速深度网络训练 · 2015

    批归一化与 He 初始化都在解决深层网络训练困难,二者可对照比较。

    读归一化层的前向与反向计算,以及它如何允许更大学习率。

  5. 5
    Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification深入研究整流器:在 ImageNet 分类上超越人类水平 · 2015 · 就是这篇

    在以上背景下,看针对整流激活做的 PReLU 和初始化推导。

    读PReLU 的形式与梯度;He 初始化的方差推导,以及为何极深网络可以直接从零训练。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐tanilama · 2017-11

“Also known as PreLU, citation 1600+. The initialization scheme is widely adapted by a lot of following works.”

指出即 PReLU,引用 1600+,初始化方法被后续工作广泛采用
China is catching up to the USA, while Japan is being left behind原评论 ↗
推荐peterfirefly · 2023-12

“A big breakthrough was Kaiming He's work on initialization for ReLU:”

称 Kaiming He 针对 ReLU 的初始化是一大突破
Direct initialization of transformers using larger pretrained ones原评论 ↗
引用lars · 2015-02

“Since this paper along with [1] both beat human level performance on ImageNet, using seemingly unrelated techniques, it seems like there's a clear path to achieve the next state of the art result”

与另一篇用不同技术都超越人类 ImageNet 水平,推断 SOTA 还有路可走
Batch Normalization: Accelerating Deep Network Training [pdf]原评论 ↗
引用kahnjw · 2020-05

“Deep learning has surpassed human level performance on many tasks [1][2]”

拿它说明深度学习已在多项任务上超越人类水平
Explainable Deep Learning: A Field Guide for the Uninitiated原评论 ↗
被提交为 story · 2 次