“Other equally exciting papers that relates to learning to learn in DL.”
Neural Architecture Search with Reinforcement Learning
用强化学习训练 RNN 控制器自动设计网络结构
论文用一个循环网络生成神经网络的结构描述,并用强化学习训练它,使生成架构在验证集上的期望准确率最大。在 CIFAR-10 上,从零开始设计出的架构测试错误率为 3.65,比此前使用类似架构方案的最好模型好 0.09 个百分点且快 1.05 倍;在 Penn Treebank 上发现了优于 LSTM 的新循环单元,困惑度 62.4,比此前最好结果低 3.6,并且可迁移到字符级语言建模任务。
它是自动设计神经网络(NAS)的早期开创工作,评论者引它说明「让机器设计架构」的方向,也提到其代价巨大:约 800 块 GPU 训练了 15,000 个模型。
学习路径
读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先看超参数自动搜索和用学习替代手工设计,再看 VGG、ResNet、DenseNet 这些要超越的人工架构,才能读懂神经架构搜索如何用强化学习训练控制器来设计网络。
- 1
贝叶斯优化是当时自动调超参的主流方法,是架构搜索要超越的对照路线。
读用高斯过程建模并选择下一组超参数的思路。
- 2
用神经网络代替高斯过程做可扩展的贝叶斯优化,说明超参搜索的规模瓶颈。
读为什么高斯过程难以扩展,以及神经网络如何缓解。
- 3
用 LSTM 学成优化器,体现把手工设计变成学习问题的思路,与用 RNN 控制器生成架构相通。
读把设计过程变成可训练模型的想法;细节可略读。
- 4
VGG 是目标论文搜索空间里层结构的参照,体现人工设计的卷积网络范式。
读堆叠 3x3 卷积的设计风格。
- 5
搜索空间里允许跳跃连接,ResNet 是人工设计中的最佳代表之一。
读残差连接的思想,以及它为何成为搜索空间里的重要元素。
- 6
- 7
- 8Neural Architecture Search with Reinforcement Learning
目标论文:用 RNN 控制器生成网络描述,并用强化学习按验证准确率训练它。
读控制器如何逐层输出超参数、REINFORCE 训练,以及 CIFAR-10 和 Penn Treebank 上搜出的架构。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Deep learning architectures built by machines (so we no longer have to design architecture to solve problems) Neural Architecture Search with Reinforcement Learning”
“Related (but less so), there are also some papers about learning neural network architectures:”
“Quoc, Barret, and others have been working on ANN-architecture-design systems for a while now (see: Neural Architecture Search with Reinforcement Learning)”
“Neural Architecture Search with Reinforcement Learning" it also talks about this.”
“See: Neural Architecture Search with Reinforcement Learning”
看全部 8 条 →
- Neural Architecture Search with Reinforcement Learning ↗saycheese · 2017-01-19 · 116 分