“This is good background but modern architecture are significantly better:”
Learning Transferable Architectures for Scalable Image Recognition
NASNet:在小数据集上搜出卷积单元,堆叠后迁移到 ImageNet
为了避免在大数据集上直接搜索网络架构的高昂代价,作者在小数据集上搜索架构构建块,再迁移到大数据集。关键贡献是设计了可迁移的新搜索空间(NASNet 搜索空间):在 CIFAR-10 上搜索最佳卷积单元(cell),再堆叠更多副本构成用于 ImageNet 的 NASNet 架构,并提出正则化方法 ScheduledDropPath。NASNet 在 CIFAR-10 上错误率为 2.4%,在 ImageNet 上达到 82.7% top-1 和 96.2% top-5,比当时最好的人工设计架构 top-1 高 1.2%,FLOPS 少 90 亿;其特征用于 Faster-RCNN 在 COCO 上达到 43.1% mAP。
HN 上的人把它当作神经架构搜索的实例,用来说明自动搜索可发现计算量更少的卷积网络,同时也有人提醒现代架构已明显更好。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先熟悉图像分类网络的主流模块(Inception、ResNet、DenseNet),再看用强化学习搜索架构的早期方法,最后读 NASNet 如何设计可迁移的搜索空间。
- 1
- 2
- 3
- 4
NASNet 的搜索方法直接沿用这篇的 RNN 控制器与强化学习训练,只是改变了搜索空间。
读控制器如何采样架构、用验证精度作奖励;对比原文直接搜整网的代价。
- 5
MetaQNN 是同期用 Q 学习搜索卷积结构的方法,帮助看清不同搜索策略。
读Q 学习逐层选择的搜索方式。
- 6Learning Transferable Architectures for Scalable Image Recognition
目标论文:在小数据集上搜出卷积 cell,再堆叠迁移到 ImageNet,关键是新的搜索空间。
读normal cell 与 reduction cell 的搜索空间设计、控制器采样的五步,以及迁移到 ImageNet 的结果。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“It's a very cool research result.”
“Practical example, neural architecture search to discover convnets that require less computation, Learning Transferable Architectures for Scalable Image Recognition”
“next one is a bit more reasonable”
“as part of the NASNet-A architecture (presented in Learning Transferable Architectures for Scalable Image Recognition): [LINK]”
- Learning Transferable Architectures for Scalable Image Recognition ↗keveman · 2017-07-27 · 1 分
- Learning Transferable Architectures for Scalable Image Recognition ↗jonbaer · 2017-07-31 · 2 分
- Machine learning optimization of machine learning architecture ↗blacksmythe · 2017-09-11 · 2 分