“the VGG team in close 2nd place had a very simple and beautiful "vanilla" CovnNet model”
Very Deep Convolutional Networks for Large-Scale Image Recognition
全用 3x3 小卷积堆到 16–19 层,验证深度的作用(VGG)
系统评估卷积网络深度对大规模图像识别精度的影响:采用全部由 3x3 小卷积核构成的架构,把深度推到 16–19 个权重层,较此前配置有显著提升。这些结果是其 ImageNet 2014 挑战赛提交的基础,取得定位任务第一、分类任务第二;学到的表征在其他数据集上也泛化良好,两个最佳模型已公开。
评论者把 VGG 当作简单漂亮的 vanilla ConvNet:一大摞 3x3 卷积夹着非线性与池化;它也常被用作预训练特征提取器,以及深度网络很有效的历史节点。
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先建立 ImageNet 任务、dropout 正则和早期卷积网络可视化与深度的背景,再读 VGG 如何用统一的 3x3 小卷积把网络堆深。
- 1
VGG 的全连接层训练依赖 dropout 正则,这里是 dropout 的原始提出。
读dropout 的基本思想:训练时随机丢弃一半特征检测器,抑制共适应;读懂它为何等价于模型平均。
- 2
VGG 的所有实验都在 ILSVRC 基准上,需要先知道任务设置与评测指标。
读ImageNet 分类与定位任务的定义、top-5 误差指标;跳过各年参赛方法的细节。
- 3
VGG 在它的小感受野、浅层小步幅的设计思路上沿袭了这篇的分析。
读第一层卷积核尺寸和步幅对特征的影响,以及用反卷积观察各层特征;抓住「小核更好」的线索。
- 4
GoogLeNet 与 VGG 同年同赛、同样走加深路线,对比能看出 VGG 结构的简洁。
读Inception 模块与 22 层网络的整体设计;和 VGG 对比参数量与结构复杂度。
- 5Very Deep Convolutional Networks for Large-Scale Image Recognition
目标论文:系统验证深度对精度的作用。
读第 2 节的网络配置 A 到 E 与 3x3 堆叠等效大感受野的论证;第 3 节训练与测试细节;对比各配置的实验结果。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Currently it is using a convolutional network for prediction not dissimilar to [1] or [2].”
“This year's second-place ILSVRC winner (VGG) is essentially a giant stack of 19 convolution layers with super tiny kernels, sandwiched between nonlinearities and pooling.”
“Very Deep Convolutional Networks for Large-Scale Image Recognition (all 3x3)”
“The network is called VGG, paper is here: Very Deep Convolutional Networks for Large-Scale Image Recognition”
“Then VGG[0] came out and showed that deep networks were very effective”