引用optimalsolver · 2021-03
“Except random search was found to outperform state-of-the-art neural architecture search algorithms:”
引用它反驳:随机搜索被发现优于最先进的 NAS 算法
把 NAS 搜索策略与随机选择对比,发现先进算法接近随机
论文主张单独评估神经架构搜索(NAS)的搜索阶段,而非只看下游任务成绩,做法是把搜索策略得到的架构质量与随机选择相比较。发现平均而言先进的 NAS 算法与随机策略表现相近,且常用的权重共享策略会破坏候选架构的排序,使其不能反映真实性能,从而削弱搜索效果。
HN 评论者引用它作为证据,说明随机搜索可以不输甚至超过当时最先进的神经架构搜索算法。
先了解主流 NAS 搜索方法与搜索空间,再看随机搜索的复现性讨论,读这篇如何把搜索策略和随机选择比较。
强化学习 NAS 的开山工作,建立了搜索策略的设定。
读抓 RNN 控制器生成网络结构并用强化学习更新的流程。
引入可迁移的单元搜索空间,现在多数 NAS 研究使用这类空间。
读抓单元搜索空间的设计,以及先在小数据集搜索再迁移的做法。
另一类搜索方法与搜索空间,可作比较对象。
读抓层级表示的搜索空间和进化式搜索。
参数共享大幅降低搜索成本,是被评估的搜索策略之一。
读抓共享权重的超网思想及其对搜索结果评估的影响。
同期讨论随机搜索与复现性,与本文问题直接相关。
读抓随机搜索在 NAS 中的强基线表现及复现性问题。
随机连接的网络也能取得强结果,从另一侧说明搜索空间的作用。
读抓随机图生成器如何产生网络,以及结果说明了什么。
把 NAS 搜索策略与随机选择对比,发现先进算法接近随机。
读抓评估搜索阶段的对比设置,以及随机选择为何接近先进算法。
“Except random search was found to outperform state-of-the-art neural architecture search algorithms:”