按年被提到
20172017 · 6 次2026
视觉、语音与图像生成›卷积网络与图像识别·arXiv:1707.07012 · cs.CV

Learning Transferable Architectures for Scalable Image Recognition

学习可迁移的架构以实现可扩展的图像识别(NASNet)
Barret Zoph, Vijay Vasudevan, Jonathon Shlens, Quoc V. Le · 2017

NASNet:在小数据集上搜出卷积单元,堆叠后迁移到 ImageNet

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 8 人首次 2017-07-27 · 最近 2018-10-30
8不同的人
6活跃月份
8讨论串
6,627被引(OpenAlex)

为了避免在大数据集上直接搜索网络架构的高昂代价,作者在小数据集上搜索架构构建块,再迁移到大数据集。关键贡献是设计了可迁移的新搜索空间(NASNet 搜索空间):在 CIFAR-10 上搜索最佳卷积单元(cell),再堆叠更多副本构成用于 ImageNet 的 NASNet 架构,并提出正则化方法 ScheduledDropPath。NASNet 在 CIFAR-10 上错误率为 2.4%,在 ImageNet 上达到 82.7% top-1 和 96.2% top-5,比当时最好的人工设计架构 top-1 高 1.2%,FLOPS 少 90 亿;其特征用于 Faster-RCNN 在 COCO 上达到 43.1% mAP。

HN 为什么提它

HN 上的人把它当作神经架构搜索的实例,用来说明自动搜索可发现计算量更少的卷积网络,同时也有人提醒现代架构已明显更好。

方法难度 3 / 5约 50 分钟经得起时间
读之前最好知道
1卷积神经网络与图像分类
2神经架构搜索(neural architecture search)
3强化学习中的控制器(controller RNN)
4正则化与 dropout

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先熟悉图像分类网络的主流模块(Inception、ResNet、DenseNet),再看用强化学习搜索架构的早期方法,最后读 NASNet 如何设计可迁移的搜索空间。

  1. 1
    Going Deeper with Convolutions用卷积走得更深 · 2014

    NASNet 的 cell 内部有多个并行分支,思路与 Inception 相似。

    读多分支模块的结构。

  2. 2
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    NASNet 的 cell 采用跳连,并与 ResNet 作对比。

    读残差连接的结构。

  3. 3
    Densely Connected Convolutional Networks密集连接卷积网络(DenseNet) · 2016

    密集连接是手工设计的强基线,也是搜索空间中连接方式的来源之一。

    读特征拼接的连接模式。

  4. 4
    Neural Architecture Search with Reinforcement Learning用强化学习搜索神经网络架构 · 2016

    NASNet 的搜索方法直接沿用这篇的 RNN 控制器与强化学习训练,只是改变了搜索空间。

    读控制器如何采样架构、用验证精度作奖励;对比原文直接搜整网的代价。

  5. 5
    Designing Neural Network Architectures using Reinforcement Learning用强化学习设计神经网络架构 · 2016

    MetaQNN 是同期用 Q 学习搜索卷积结构的方法,帮助看清不同搜索策略。

    读Q 学习逐层选择的搜索方式。

  6. 6
    Learning Transferable Architectures for Scalable Image Recognition学习可迁移的架构以实现可扩展的图像识别(NASNet) · 2017 · 就是这篇

    目标论文:在小数据集上搜出卷积 cell,再堆叠迁移到 ImageNet,关键是新的搜索空间。

    读normal cell 与 reduction cell 的搜索空间设计、控制器采样的五步,以及迁移到 ImageNet 的结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐hedgehog · 2017-08

“This is good background but modern architecture are significantly better:”

认为这是不错的背景,但现代架构已明显更好
YOLO: Real-Time Object Detection原评论 ↗
推荐rkaplan · 2017-11

“It's a very cool research result.”

称这是非常酷的研究成果
Building A.I. That Can Build A.I原评论 ↗
引用paulsutter · 2017-09

“Practical example, neural architecture search to discover convnets that require less computation, Learning Transferable Architectures for Scalable Image Recognition”

举神经架构搜索的实例:搜出计算量更少的 convnet
Where will artificial general intelligence come from?原评论 ↗
引用kripke · 2018-07

“next one is a bit more reasonable”

指出这是 NAS 系列第二篇,训练成本比第一篇合理
Darts: Differentiable architecture search for convolutional, recurrent networks原评论 ↗
引用cweill · 2018-10

“as part of the NASNet-A architecture (presented in Learning Transferable Architectures for Scalable Image Recognition): [LINK]”

指出 NASNet-A 架构出自这篇论文
Introducing AdaNet: Fast and Flexible AutoML with Learning Guarantees原评论 ↗
被提交为 story · 3 次