按年被提到
20192019 · 1 次2026
机器学习与深度学习›神经网络架构探索·arXiv:1902.08142 · cs.LG

Evaluating the Search Phase of Neural Architecture Search

评估神经架构搜索的搜索阶段
Kaicheng Yu, Christian Sciuto, Martin Jaggi, Claudiu Musat, Mathieu Salzmann · 2019

把 NAS 搜索策略与随机选择对比,发现先进算法接近随机

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2019-11-22 · 最近 2022-05-31
3不同的人
3活跃月份
3讨论串
219被引(OpenAlex)

论文主张单独评估神经架构搜索(NAS)的搜索阶段,而非只看下游任务成绩,做法是把搜索策略得到的架构质量与随机选择相比较。发现平均而言先进的 NAS 算法与随机策略表现相近,且常用的权重共享策略会破坏候选架构的排序,使其不能反映真实性能,从而削弱搜索效果。

HN 为什么提它

HN 评论者引用它作为证据,说明随机搜索可以不输甚至超过当时最先进的神经架构搜索算法。

实证研究难度 3 / 5约 40 分钟有时效性
读之前最好知道
1神经架构搜索(NAS)
2深度卷积网络
3权重共享(weight sharing)
4实验对照与基线设计

学习路径

读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先了解主流 NAS 搜索方法与搜索空间,再看随机搜索的复现性讨论,读这篇如何把搜索策略和随机选择比较。

  1. 1
    Neural Architecture Search with Reinforcement Learning用强化学习搜索神经网络架构 · 2016

    强化学习 NAS 的开山工作,建立了搜索策略的设定。

    读抓 RNN 控制器生成网络结构并用强化学习更新的流程。

  2. 2
    Learning Transferable Architectures for Scalable Image Recognition学习可迁移的架构以实现可扩展的图像识别(NASNet) · 2017

    引入可迁移的单元搜索空间,现在多数 NAS 研究使用这类空间。

    读抓单元搜索空间的设计,以及先在小数据集搜索再迁移的做法。

  3. 3

    另一类搜索方法与搜索空间,可作比较对象。

    读抓层级表示的搜索空间和进化式搜索。

  4. 4

    参数共享大幅降低搜索成本,是被评估的搜索策略之一。

    读抓共享权重的超网思想及其对搜索结果评估的影响。

  5. 5
    DARTS: Differentiable Architecture SearchDARTS:可微分架构搜索 · 2018

    可微分搜索,是被评估的一类搜索策略。

    读抓连续松弛与双层优化的思路。

  6. 6

    同期讨论随机搜索与复现性,与本文问题直接相关。

    读抓随机搜索在 NAS 中的强基线表现及复现性问题。

  7. 7

    随机连接的网络也能取得强结果,从另一侧说明搜索空间的作用。

    读抓随机图生成器如何产生网络,以及结果说明了什么。

  8. 8
    Evaluating the Search Phase of Neural Architecture Search评估神经架构搜索的搜索阶段 · 2019 · 就是这篇

    把 NAS 搜索策略与随机选择对比,发现先进算法接近随机。

    读抓评估搜索阶段的对比设置,以及随机选择为何接近先进算法。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用optimalsolver · 2021-03

“Except random search was found to outperform state-of-the-art neural architecture search algorithms:”

引用它反驳:随机搜索被发现优于最先进的 NAS 算法
Freewire: An Experiment with Freely Wired Neural Networks原评论 ↗
被提交为 story · 2 次