按年被提到
20162017 · 5 次2026
视觉、语音与图像生成›卷积网络与图像识别·arXiv:1608.06993 · cs.CV

Densely Connected Convolutional Networks

密集连接卷积网络(DenseNet)
Gao Huang, Zhuang Liu, Laurens van der Maaten, Kilian Q. Weinberger · 2016

DenseNet:每一层都接收此前所有层的特征图,复用特征且参数更少

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 8 人首次 2016-11-22 · 最近 2025-09-18
8不同的人
7活跃月份
9讨论串
49,193被引(OpenAlex)

受「靠近输入与靠近输出的层之间加短连接可使网络更深、更准、更易训练」的启发,作者提出 DenseNet:以前馈方式把每一层与其他所有层相连,L 层网络有 L(L+1)/2 条直接连接,每层把此前所有层的特征图作为输入。它缓解梯度消失、加强特征传播、鼓励特征复用并大幅减少参数。在 CIFAR-10、CIFAR-100、SVHN 和 ImageNet 四个竞争激烈的识别基准上,多数取得显著改进,且达到高性能所需计算更少。

HN 为什么提它

HN 上的人把它当作拼接式跳跃连接(相对于残差连接)的代表架构来提及,也被列为 CVPR 2017 最佳论文,并用其特征做相似度搜索等应用。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1卷积神经网络(CNN)
2残差网络(ResNet)与跳跃连接
3梯度消失问题
4图像分类基准(CIFAR、ImageNet)

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

沿着加深网络的脉络:批归一化、Inception、ResNet 及其恒等映射、随机深度与宽残差网络,再读 DenseNet 如何让每层都连到之前所有层。

  1. 1
    Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift批归一化:通过减少内部协变量偏移加速深度网络训练 · 2015

    批归一化是 DenseNet 每个单元的标配组件。

    读归一化的计算与它如何允许训练更深网络。

  2. 2
    Going Deeper with Convolutions用卷积走得更深 · 2014

    Inception 在同一层拼接多个分支,DenseNet 的特征拼接与此有关联。

    读多分支拼接结构的思路。

  3. 3
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    DenseNet 要在跳连这一点上与 ResNet 对比:求和还是拼接。

    读残差块与恒等跳连;理解它为什么缓解梯度消失。

  4. 4
    Identity Mappings in Deep Residual Networks深度残差网络中的恒等映射 · 2016

    提出预激活顺序(BN-ReLU-Conv),DenseNet 的复合层沿用该顺序。

    读预激活残差单元与信号直通的论证。

  5. 5

    随机深度训练时随机跳过层,说明层间短路径与特征复用的价值,是目标论文提到的缩短连接的动机之一。

    读训练时随机丢弃层的做法与观察。

  6. 6

    宽残差网络表明加宽也能提升性能,是 DenseNet 参数效率比较的对照。

    读加宽与加深的权衡。

  7. 7
    Densely Connected Convolutional Networks密集连接卷积网络(DenseNet) · 2016 · 就是这篇

    目标论文:每层连到之前所有层的特征图,实现特征复用且参数更少。

    读密集块与过渡层、增长率(growth rate)的设计,以及参数效率的实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐tanilama · 2017-11

“Those are all good papers.”

称这几篇都是好论文,DenseNet 是其中之一
China is catching up to the USA, while Japan is being left behind原评论 ↗
推荐godelski · 2025-09

“you might also be interested in reading the DenseNet paper[0]”

推荐也读 DenseNet 这篇论文
Automatic differentiation can be incorrect原评论 ↗
引用ogrisel · 2016-11

“Alternatively it's possible to use concatenative skip connections as in DenseNets: Densely Connected Convolutional Networks”

提出可像 DenseNet 那样用拼接式跳跃连接作为替代
MXNet – Deep Learning Framework of Choice at AWS原评论 ↗
引用iraphael · 2017-07

“* Densely Connected Convolutional Networks [0] by Gao Huang, Zhuang Liu, Laurens van der Maaten, & Kilian Q. Weinberger.”

把它列入论文清单,作为密集连接的 CNN 架构
CVPR 2017 Best Paper Awards原评论 ↗
引用tmp65535 · 2021-12

“It uses densenet feature vectors to allow "touch-to-search" (ha!) with a fractional norm distance metric”

说明应用用 DenseNet 特征配合分数范数距离做“触摸搜索”
DeepCreamPy- Decensoring Hentai with Deep Neural Networks (2018)原评论 ↗
引用gwern · 2024-03

“that exploits the DenseNet (Densely Connected Convolutional Networks ([OTHER_PAPER]) arch you're using here.”

指出对方用的架构正是利用了 DenseNet
DenseFormer: Enhancing Information Flow in Transformers原评论 ↗
被提交为 story · 3 次