按年被提到
20162017 · 5 次2026
大模型与语言模型›序列模型与注意力机制·arXiv:1611.01578 · cs.LG

Neural Architecture Search with Reinforcement Learning

用强化学习搜索神经网络架构
Barret Zoph, Quoc V. Le · 2016

用强化学习训练 RNN 控制器自动设计网络结构

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 9 人首次 2017-01-03 · 最近 2018-07-13
9不同的人
7活跃月份
8讨论串
4,371被引(OpenAlex)

论文用一个循环网络生成神经网络的结构描述,并用强化学习训练它,使生成架构在验证集上的期望准确率最大。在 CIFAR-10 上,从零开始设计出的架构测试错误率为 3.65,比此前使用类似架构方案的最好模型好 0.09 个百分点且快 1.05 倍;在 Penn Treebank 上发现了优于 LSTM 的新循环单元,困惑度 62.4,比此前最好结果低 3.6,并且可迁移到字符级语言建模任务。

HN 为什么提它

它是自动设计神经网络(NAS)的早期开创工作,评论者引它说明「让机器设计架构」的方向,也提到其代价巨大:约 800 块 GPU 训练了 15,000 个模型。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1循环神经网络与 LSTM
2策略梯度(policy gradient)
3卷积网络基础
4CIFAR-10 与 Penn Treebank 基准

学习路径

读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看超参数自动搜索和用学习替代手工设计,再看 VGG、ResNet、DenseNet 这些要超越的人工架构,才能读懂神经架构搜索如何用强化学习训练控制器来设计网络。

  1. 1
    Practical Bayesian Optimization of Machine Learning Algorithms机器学习算法的实用贝叶斯优化 · 2012

    贝叶斯优化是当时自动调超参的主流方法,是架构搜索要超越的对照路线。

    读用高斯过程建模并选择下一组超参数的思路。

  2. 2
    Scalable Bayesian Optimization Using Deep Neural Networks用深度神经网络实现可扩展的贝叶斯优化 · 2015

    用神经网络代替高斯过程做可扩展的贝叶斯优化,说明超参搜索的规模瓶颈。

    读为什么高斯过程难以扩展,以及神经网络如何缓解。

  3. 3
    Learning to learn by gradient descent by gradient descent用梯度下降学习梯度下降 · 2016

    用 LSTM 学成优化器,体现把手工设计变成学习问题的思路,与用 RNN 控制器生成架构相通。

    读把设计过程变成可训练模型的想法;细节可略读。

  4. 4
    Very Deep Convolutional Networks for Large-Scale Image Recognition面向大规模图像识别的极深卷积网络 · 2014

    VGG 是目标论文搜索空间里层结构的参照,体现人工设计的卷积网络范式。

    读堆叠 3x3 卷积的设计风格。

  5. 5
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    搜索空间里允许跳跃连接,ResNet 是人工设计中的最佳代表之一。

    读残差连接的思想,以及它为何成为搜索空间里的重要元素。

  6. 6
    Densely Connected Convolutional Networks密集连接卷积网络(DenseNet) · 2016

    DenseNet 是目标论文在 CIFAR-10 上要对比的人工设计的先进架构。

    读密集连接的结构与它的参数效率。

  7. 7

    目标论文在循环单元搜索上与这类人工设计的循环网络对比。

    读在循环网络里引入 Highway 式门控的思路。

  8. 8
    Neural Architecture Search with Reinforcement Learning用强化学习搜索神经网络架构 · 2016 · 就是这篇

    目标论文:用 RNN 控制器生成网络描述,并用强化学习按验证准确率训练它。

    读控制器如何逐层输出超参数、REINFORCE 训练,以及 CIFAR-10 和 Penn Treebank 上搜出的架构。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐lucidrains · 2017-01

“Other equally exciting papers that relates to learning to learn in DL.”

把它列为 DL 中学会学习方向同样令人兴奋的论文,用 RL 搜索网络架构
Learning to Learn in TensorFlow原评论 ↗
引用sarthakjain · 2017-02

“Deep learning architectures built by machines (so we no longer have to design architecture to solve problems) Neural Architecture Search with Reinforcement Learning”

拿它说明深度学习架构可由机器来构建,无需再手工设计
Ask HN: What is the most exciting development in your field right now?原评论 ↗
引用chriskanan · 2017-07

“Related (but less so), there are also some papers about learning neural network architectures:”

列为相关论文:学习神经网络架构,用强化学习训练
Hacker's guide to Neural Networks (2012)原评论 ↗
引用ollin · 2017-11

“Quoc, Barret, and others have been working on ANN-architecture-design systems for a while now (see: Neural Architecture Search with Reinforcement Learning)”

指出 Quoc、Barret 等人早在 NASNet 之前就在做网络架构设计系统
Building A.I. That Can Build A.I原评论 ↗
引用michaelgreen · 2018-03

“Neural Architecture Search with Reinforcement Learning" it also talks about this.”

指出这篇论文也谈到了这件事:用 RL 搜索架构并发明新的 cell
Using Google Cloud AutoML to Classify Poisonous Australian Spiders原评论 ↗
引用RoboTeddy · 2018-06

“See: Neural Architecture Search with Reinforcement Learning”

引用此文:用 RL 训练设计者网络,报告用 800 块 GPU 训练 15,000 个模型
Deep learning: a critical appraisal原评论 ↗
看全部 8 条 →
引用ashelmire · 2018-07

“Zoph's paper on architecture search: Neural Architecture Search with Reinforcement Learning”

把 Zoph 的架构搜索论文作为背景阅读指给读者
Darts: Differentiable architecture search for convolutional, recurrent networks原评论 ↗
引用kripke · 2018-07

“First one uses something like 1k GPUs for a month”

指出这个系列的第一篇 NAS 论文大约用了 1k 块 GPU 跑一个月
Darts: Differentiable architecture search for convolutional, recurrent networks原评论 ↗
被提交为 story · 1 次