“The paper [1] cites Koza among a total of 102 citations.”
AutoML-Zero: Evolving Machine Learning Algorithms From Scratch
仅用基本数学运算作积木,用进化搜索发现完整机器学习算法
现有 AutoML 多集中在神经网络架构,依赖专家设计的复杂层或同样受限的搜索空间。论文表明 AutoML 可以走得更远:只用基本数学运算作为积木,就能自动发现完整的机器学习算法。作者提出一个通过通用搜索空间大幅减少人为偏见的新框架,尽管空间极其庞大,进化搜索仍能发现用反向传播训练的两层神经网络;在 CIFAR-10 变体等任务上直接进化,还会出现双线性交互、归一化梯度、权重平均等现代技术,数据很少时则出现类似 dropout 的做法。
评论者主要把它当作用变异与选择从零进化算法的例子来引用,并讨论它与 Koza 的遗传编程等早期工作以及 MOSES 的关系。
学习路径
读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先看超参数与架构自动搜索的路线,再看程序合成与进化出程序的先例,理解 AutoML-Zero 为什么要从基本运算起步。
- 1
自动调超参的经典方法,是 AutoML 的起点之一
读高斯过程与采集函数的基本思路,不必推导
- 2
让网络学会优化器,属于自动发现学习算法的思路
读用 LSTM 作为优化器的做法,对比从基本运算进化出算法
- 3
神经架构搜索的开创工作,AutoML-Zero 要突破的搜索空间限制
读控制器 RNN 与强化学习搜索,注意搜索空间由专家设计的层构成
- 4
把搜索限制在卷积单元内,体现受限搜索空间
读单元搜索空间的设计,看它依赖多少人工设计的积木
- 5
指出随机搜索在架构搜索中是强基线,提示搜索空间比算法更关键
读随机搜索与复现实验的结论,对比 AutoML-Zero 的随机搜索基线
- 6
- 7
- 8AutoML-Zero: Evolving Machine Learning Algorithms From Scratch
目标论文:只用基本运算、靠进化搜索发现完整机器学习算法
读程序表示、进化搜索流程,以及搜出的算法再发现了哪些已知技巧
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Here is a paper they referenced in the article:”
“Imagine combining such a model with something like AutoML-Zero:”
“How does this compare to MOSES (OpenCog/asmoses) or PLN?”
- AutoML-Zero: Evolving Machine Learning Algorithms from Scratch ↗hardmaru · 2020-03-11 · 2 分
- AutoML-Zero: Evolving Machine Learning Algorithms from Scratch ↗bookofjoe · 2020-04-14 · 2 分
- AutoML-Zero: Evolving Machine Learning Algorithms from Scratch ↗blopeur · 2020-04-16 · 2 分
- AutoML-Zero: Evolving Machine Learning Algorithms from Scratch ↗jonbaer · 2020-04-17 · 3 分
- AutoML-Zero: Evolving Machine Learning Algorithms from Scratch ↗saveThePlanet · 2020-04-18 · 5 分
- AutoML-Zero: Evolving Machine Learning Algorithms from Scratch ↗daviddumon · 2020-04-23 · 1 分