按年被提到
20182019 · 2 次2026
机器学习与深度学习›神经网络架构探索·arXiv:1806.09055 · cs.LG

DARTS: Differentiable Architecture Search

DARTS:可微分架构搜索
Hanxiao Liu, Karen Simonyan, Yiming Yang · 2018

把网络结构搜索连续松弛,用梯度下降搜索,比离散方法快几个数量级

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2018-06-27 · 最近 2019-10-03
3不同的人
3活跃月份
3讨论串
3,248被引(OpenAlex)

论文针对神经架构搜索的可扩展性问题,把搜索任务表述为可微分形式:不再在离散、不可微的空间里用进化或强化学习搜索,而是对架构表示做连续松弛,从而可用梯度下降高效搜索。在 CIFAR-10、ImageNet、Penn Treebank 和 WikiText-2 上的大量实验表明,它能找到用于图像分类的高性能卷积架构和用于语言建模的循环架构,速度比最先进的非可微方法快几个数量级,并公开了实现。

HN 为什么提它

HN 上的人用它说明网络架构本身就是最重要的超参数之一,并且可以通过对松弛后的架构选择做梯度下降来搜索。

方法难度 4 / 5约 40 分钟经得起时间
读之前最好知道
1神经架构搜索(NAS)
2梯度下降与双层优化
3卷积网络与循环网络基础
4连续松弛(continuous relaxation)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用axiom92 · 2019-10

“What's one of the most important hyperparameters? Architecture: DARTS”

引它说明架构是重要超参数,可用梯度下降搜索
Gradient Descent: The Ultimate Optimizer原评论 ↗
被提交为 story · 2 次