引用axiom92 · 2019-10
“What's one of the most important hyperparameters? Architecture: DARTS”
引它说明架构是重要超参数,可用梯度下降搜索
把网络结构搜索连续松弛,用梯度下降搜索,比离散方法快几个数量级
论文针对神经架构搜索的可扩展性问题,把搜索任务表述为可微分形式:不再在离散、不可微的空间里用进化或强化学习搜索,而是对架构表示做连续松弛,从而可用梯度下降高效搜索。在 CIFAR-10、ImageNet、Penn Treebank 和 WikiText-2 上的大量实验表明,它能找到用于图像分类的高性能卷积架构和用于语言建模的循环架构,速度比最先进的非可微方法快几个数量级,并公开了实现。
HN 上的人用它说明网络架构本身就是最重要的超参数之一,并且可以通过对松弛后的架构选择做梯度下降来搜索。
“What's one of the most important hyperparameters? Architecture: DARTS”