“For deep convnets the vanishing gradient problems can mostly be solved by using residual architectures. See: Identity Mappings in Deep Residual Networks”
按年被提到
20162016 · 2 次2026
Identity Mappings in Deep Residual Networks
深度残差网络中的恒等映射
Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun · 2016
分析残差块信号传播,提出恒等跳连的新残差单元,训练千层 ResNet
被提及 · 3 人首次 2016-03-17 · 最近 2026-07-07
3不同的人
3活跃月份
3讨论串
10,736被引(OpenAlex)
分析残差块背后的传播公式,指出当跳跃连接采用恒等映射且激活放在加法之后时,前向与反向信号可以直接从一个块传到任意其他块,并用一系列消融实验验证恒等映射的重要性。据此提出新的残差单元,使训练更容易、泛化更好,1001 层 ResNet 在 CIFAR-10 上错误率 4.62%,另有 200 层 ResNet 用于 ImageNet。
HN 为什么提它
评论者引用它说明残差结构基本解决了深层卷积网络的梯度消失问题,也有人把它放进 30 篇论文的阅读清单里。
方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1卷积神经网络(CNN)
2反向传播与梯度消失
3ResNet 残差学习
4批归一化(batch normalization)
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出沿着 Highway、批归一化、初始化到原始 ResNet 的脉络,理解为什么恒等跳连和激活位置会影响极深网络的训练。
- 1
- 2
批归一化是 ResNet 残差单元的组成部分,预激活设计围绕它展开
读理解训练时对每层输入的归一化及其与激活函数顺序的关系
- 3
ResNet 沿用 He 初始化和 ReLU 类激活,理解信号传播要用到
读看初始化如何保持前向与反向信号方差
- 4
原始残差网络及其残差块,目标论文在此基础上改进
读看残差块的定义与恒等映射的设计,以及 ImageNet 实验里的网络结构
- 5Identity Mappings in Deep Residual Networks
分析信号传播并提出预激活残差单元
读重点看信号前向与反向传播的推导,以及各种跳连变体的消融实验
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用ogrisel · 2016-11
指出残差架构基本能解决深度卷积网络的梯度消失
引用cute_boi · 2026-07
“Identity Mappings in Deep Residual Networks - Identity Mappings in Deep Residual Networks”
列在 30 篇论文阅读清单里,未加评论
被提交为 story · 1 次
- Identity Mappings in Deep Residual Networks ↗bluelinespecial · 2016-03-17 · 3 分