按年被提到
20162016 · 2 次2026
视觉、语音与图像生成›卷积网络与图像识别·arXiv:1603.05027 · cs.CV

Identity Mappings in Deep Residual Networks

深度残差网络中的恒等映射
Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun · 2016

分析残差块信号传播,提出恒等跳连的新残差单元,训练千层 ResNet

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2016-03-17 · 最近 2026-07-07
3不同的人
3活跃月份
3讨论串
10,736被引(OpenAlex)

分析残差块背后的传播公式,指出当跳跃连接采用恒等映射且激活放在加法之后时,前向与反向信号可以直接从一个块传到任意其他块,并用一系列消融实验验证恒等映射的重要性。据此提出新的残差单元,使训练更容易、泛化更好,1001 层 ResNet 在 CIFAR-10 上错误率 4.62%,另有 200 层 ResNet 用于 ImageNet。

HN 为什么提它

评论者引用它说明残差结构基本解决了深层卷积网络的梯度消失问题,也有人把它放进 30 篇论文的阅读清单里。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1卷积神经网络(CNN)
2反向传播与梯度消失
3ResNet 残差学习
4批归一化(batch normalization)

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

沿着 Highway、批归一化、初始化到原始 ResNet 的脉络,理解为什么恒等跳连和激活位置会影响极深网络的训练。

  1. 1
    Highway NetworksHighway Networks · 2015

    门控跳连让上百层网络可训练,是残差连接的先驱

    读看门控如何让信息直通,对比 ResNet 的恒等捷径

  2. 2
    Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift批归一化:通过减少内部协变量偏移加速深度网络训练 · 2015

    批归一化是 ResNet 残差单元的组成部分,预激活设计围绕它展开

    读理解训练时对每层输入的归一化及其与激活函数顺序的关系

  3. 3
    Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification深入研究整流器:在 ImageNet 分类上超越人类水平 · 2015

    ResNet 沿用 He 初始化和 ReLU 类激活,理解信号传播要用到

    读看初始化如何保持前向与反向信号方差

  4. 4
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    原始残差网络及其残差块,目标论文在此基础上改进

    读看残差块的定义与恒等映射的设计,以及 ImageNet 实验里的网络结构

  5. 5
    Identity Mappings in Deep Residual Networks深度残差网络中的恒等映射 · 2016 · 就是这篇

    分析信号传播并提出预激活残差单元

    读重点看信号前向与反向传播的推导,以及各种跳连变体的消融实验

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用ogrisel · 2016-11

“For deep convnets the vanishing gradient problems can mostly be solved by using residual architectures. See: Identity Mappings in Deep Residual Networks”

指出残差架构基本能解决深度卷积网络的梯度消失
MXNet – Deep Learning Framework of Choice at AWS原评论 ↗
引用cute_boi · 2026-07

“Identity Mappings in Deep Residual Networks - Identity Mappings in Deep Residual Networks”

列在 30 篇论文阅读清单里,未加评论
30papers.com – Ilya's 30 essential ML papers, in a beginner friendly format原评论 ↗
被提交为 story · 1 次