“Those are all good papers.”
Densely Connected Convolutional Networks
DenseNet:每一层都接收此前所有层的特征图,复用特征且参数更少
受「靠近输入与靠近输出的层之间加短连接可使网络更深、更准、更易训练」的启发,作者提出 DenseNet:以前馈方式把每一层与其他所有层相连,L 层网络有 L(L+1)/2 条直接连接,每层把此前所有层的特征图作为输入。它缓解梯度消失、加强特征传播、鼓励特征复用并大幅减少参数。在 CIFAR-10、CIFAR-100、SVHN 和 ImageNet 四个竞争激烈的识别基准上,多数取得显著改进,且达到高性能所需计算更少。
HN 上的人把它当作拼接式跳跃连接(相对于残差连接)的代表架构来提及,也被列为 CVPR 2017 最佳论文,并用其特征做相似度搜索等应用。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出沿着加深网络的脉络:批归一化、Inception、ResNet 及其恒等映射、随机深度与宽残差网络,再读 DenseNet 如何让每层都连到之前所有层。
- 1
批归一化是 DenseNet 每个单元的标配组件。
读归一化的计算与它如何允许训练更深网络。
- 2
- 3
DenseNet 要在跳连这一点上与 ResNet 对比:求和还是拼接。
读残差块与恒等跳连;理解它为什么缓解梯度消失。
- 4
提出预激活顺序(BN-ReLU-Conv),DenseNet 的复合层沿用该顺序。
读预激活残差单元与信号直通的论证。
- 5
- 6
- 7Densely Connected Convolutional Networks
目标论文:每层连到之前所有层的特征图,实现特征复用且参数更少。
读密集块与过渡层、增长率(growth rate)的设计,以及参数效率的实验。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“you might also be interested in reading the DenseNet paper[0]”
“Alternatively it's possible to use concatenative skip connections as in DenseNets: Densely Connected Convolutional Networks”
“* Densely Connected Convolutional Networks [0] by Gao Huang, Zhuang Liu, Laurens van der Maaten, & Kilian Q. Weinberger.”
“It uses densenet feature vectors to allow "touch-to-search" (ha!) with a fractional norm distance metric”
“that exploits the DenseNet (Densely Connected Convolutional Networks ([OTHER_PAPER]) arch you're using here.”
- Densely Connected Convolutional Networks ↗gwern · 2017-02-17 · 5 分
- Best paper award CVPR 2017 DenseNets ↗Abtin88 · 2017-07-22 · 2 分
- Densely Connected Convolutional Networks: CVPR 2017 Best Paper Award Winner ↗ChaseT · 2017-07-26 · 29 分