按年被提到
20152015 · 5 次2026
视觉、语音与图像生成›卷积网络与图像识别·arXiv:1512.03385 · cs.CV

Deep Residual Learning for Image Recognition

用于图像识别的深度残差学习
Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun · 2015

用残差连接训练极深网络,赢得 ILSVRC 2015 冠军

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 21 人首次 2015-12-11 · 最近 2026-10-30发表于 IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings
21不同的人
16活跃月份
20讨论串
235,474被引(OpenAlex)

论文提出残差学习框架:让网络层学习相对于层输入的残差函数,而不是未参照输入的函数,从而使远比以往更深的网络更容易优化,并能随深度增加提高精度。在 ImageNet 上,深达 152 层的残差网络比 VGG 深 8 倍但复杂度更低,集成模型的测试错误率为 3.57%,赢得 ILSVRC 2015 分类任务第一;同时在 CIFAR-10 上分析了 100 层和 1000 层网络,并在 COCO 检测上相对提升 28%。

HN 为什么提它

HN 上的人多把 ResNet 当作深度学习史上最有影响力的论文之一,用来说明残差(跳跃)连接让极深网络可训练,并指出 Transformer 里的残差块和残差流思想都源自它。

奠基之作难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1卷积神经网络(CNN)
2深层网络的梯度消失与优化困难
3批归一化(batch normalization)
4ImageNet 与 COCO 等视觉基准

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径从 ImageNet 基准出发,经过 VGG、Inception 的深度之争,以及批归一化、He 初始化、Highway 网络,建立理解残差学习为何出现的背景。

  1. 1
    ImageNet Large Scale Visual Recognition ChallengeImageNet 大规模视觉识别挑战 · 2014

    ResNet 的评测都在 ImageNet 上,先理解该基准与任务设置。

    读抓 ILSVRC 的任务定义与评价指标;历史部分略读。

  2. 2
    Very Deep Convolutional Networks for Large-Scale Image Recognition面向大规模图像识别的极深卷积网络 · 2014

    VGG 展示堆叠 3x3 卷积加深网络的收益,ResNet 的基础结构沿用了它。

    读抓网络配置表和深度对精度的影响。

  3. 3
    Going Deeper with Convolutions用卷积走得更深 · 2014

    GoogLeNet 是同期另一条加深网络的路线,目标论文与其对比。

    读抓 Inception 模块的思路;训练细节可略。

  4. 4
    Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift批归一化:通过减少内部协变量偏移加速深度网络训练 · 2015

    批归一化让更深的网络可以训练,ResNet 在每个卷积后使用它。

    读抓对每个小批量归一化的公式及其在训练中的作用。

  5. 5
    Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification深入研究整流器:在 ImageNet 分类上超越人类水平 · 2015

    He 初始化和 PReLU 是训练很深网络的初始化基础,目标论文沿用了这套初始化。

    读抓针对 ReLU 的权重初始化推导的想法;PReLU 部分略读。

  6. 6
    Highway NetworksHighway Networks · 2015

    Highway 网络用门控的捷径连接训练上百层网络,是残差连接的直接前身。

    读抓门控捷径连接的公式,对比 ResNet 的恒等捷径。

  7. 7
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015 · 就是这篇

    提出残差学习,赢得 ILSVRC 2015 冠军。

    读抓退化问题的实验、残差块的形式,以及 34 层与 152 层的结构。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
强烈推荐grumbelbart2 · 2025-05

“For those who don't know, that is the idea behind ResNet (He et al., Deep Residual Learning for Image Recognition, Deep Residual Learning for Image Recognition), one of the most influential papers in deep learning of all time.”

指出 ResNet 的残差连接是深度学习史上最有影响力的论文之一
Gemini Diffusion原评论 ↗
推荐nrmn · 2015-12

“These are a few of the interesting, for me personally, since then:”

把残差学习列为个人觉得有意思的工作之一
Ask HN: Papers you read in 2015?原评论 ↗
推荐tanilama · 2017-11

“Citation 4000+. Milestone of image recognition.”

称它被引用 4000 多次,是图像识别的里程碑
China is catching up to the USA, while Japan is being left behind原评论 ↗
推荐Q6T46nT668w6i3m · 2018-06

“The foundation for many of the current SOA papers is He, et. al:”

指出它是当前许多 SOTA 论文的基础
Ask HN: Can you recommend any ML papers or blogs for visual art detection?原评论 ↗
推荐yorwba · 2020-08

“I think that's a pretty good thing they produced.”

认为微软亚洲研究院做出了很棒的成果
China hires over 100 TSMC engineers in push for chip leadership原评论 ↗
引用dplarson · 2015-12

“here's a direct link to the paper on arXiv: Deep Residual Learning for Image Recognition”

给出这篇残差网络论文的 arXiv 直接链接
Microsoft Research wins image recognition competition原评论 ↗
看全部 20 条 →
引用racoonear · 2015-12

“Deep Residual Learning for Image Recognition Deep Residual Learning for Image Recognition”

把它列入 2015 年读过的论文
Ask HN: Papers you read in 2015?原评论 ↗
引用argonaut · 2016-03

“specifically deep residual learning”

把残差学习当作图像检测的最先进方法引用
Leaf: Machine learning framework in Rust原评论 ↗
引用radarsat1 · 2016-04

“which introduces identity functions into the layer equation”

解释它在层的公式里引入了恒等函数
Deep Networks with Stochastic Depth原评论 ↗
引用walrus · 2016-04

“higher level building blocks like LSTMs[1], gated recurrent units[2], highway layers[3], batch normalization[4], and residual blocks[5]”

把残差块列为深度网络的标准构件之一
Tinker with a Neural Network in Your Browser原评论 ↗
引用Kip9000 · 2016-06

“Deep Residual Learning for Image Recognition”

引用它说明残差网络最深 152 层且更易优化
What is the difference between deep learning and usual machine learning?原评论 ↗
引用nl · 2016-09

“One of the most successful recent innovations is the ResNet architectures, and the related highway networks.”

把 ResNet 称为近年最成功的创新之一
Neural Network Architectures原评论 ↗
引用alquemist · 2020-11

“Transfomers use residual blocks, which were introduced by the ResNet CNN arhitecture (2015, Deep Residual Learning for Image Recognition)”

指出 Transformer 用的残差块由 ResNet 引入
A Primer in BERTology: What We Know About How Bert Works原评论 ↗
引用laplacesdemon48 · 2021-04

“How similar is this to creating a resnet? [1].”

拿 resnet 来类比,询问两者有多相似
Predictive coding has been unified with backpropagation原评论 ↗
引用andersource · 2021-06

“Haven't read thoroughly but it seems they are investigating ResNet models”

说明那项研究分析的正是 ResNet 模型
Do wide and deep networks learn the same things?原评论 ↗
引用godelski · 2021-06

“Then you get ResNets[1] with skip connections and move forward to today.”

把带 skip connections 的 ResNet 当作深度网络发展中的一环
Do wide and deep networks learn the same things?原评论 ↗
引用godelski · 2023-11

“ViT (ICLR 21) and DeiT (ICML 21)[4,5], and even ResNet (CVPR 16)[6] and tons of ReLU papers we can list.”

把 ResNet 当作简单而有价值的架构论文的例子
Simplifying Transformer Blocks原评论 ↗
引用melvinmelih · 2024-09

“Deep Residual Learning for Image Recognition (ResNet): Deep Residual Learning for Image Recognition”

把它作为测试工具先修书生成器的输入论文
Show HN: Turn Any ArXiv Paper into a 200-Page Prerequisite Reading Book原评论 ↗
引用cute_boi · 2026-07

“Deep Residual Learning for Image Recognition - Deep Residual Learning for Image Recognition”

把它列入 30 篇论文阅读清单,不加评论
30papers.com – Ilya's 30 essential ML papers, in a beginner friendly format原评论 ↗
引用rhdunn · 2026-10

“each layer adds the ability to provide more information to the residual stream [1], [2]”

引用它作为 residual stream 这一概念的来源
We're releasing the weights of Mistral Large 4原评论 ↗