按年被提到
20202020 · 13 次2026
机器学习与深度学习›贝叶斯方法与 AutoML·arXiv:2003.03384 · cs.LG

AutoML-Zero: Evolving Machine Learning Algorithms From Scratch

AutoML-Zero:从零开始进化机器学习算法
Esteban Real, Chen Liang, David R. So, Quoc V. Le · 2020

仅用基本数学运算作积木,用进化搜索发现完整机器学习算法

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 12 人首次 2020-03-11 · 最近 2020-07-10
12不同的人
5活跃月份
13讨论串
175被引(OpenAlex)

现有 AutoML 多集中在神经网络架构,依赖专家设计的复杂层或同样受限的搜索空间。论文表明 AutoML 可以走得更远:只用基本数学运算作为积木,就能自动发现完整的机器学习算法。作者提出一个通过通用搜索空间大幅减少人为偏见的新框架,尽管空间极其庞大,进化搜索仍能发现用反向传播训练的两层神经网络;在 CIFAR-10 变体等任务上直接进化,还会出现双线性交互、归一化梯度、权重平均等现代技术,数据很少时则出现类似 dropout 的做法。

HN 为什么提它

评论者主要把它当作用变异与选择从零进化算法的例子来引用,并讨论它与 Koza 的遗传编程等早期工作以及 MOSES 的关系。

方法难度 3 / 5约 50 分钟经得起时间
读之前最好知道
1进化算法与遗传编程(genetic programming)
2反向传播与两层神经网络
3AutoML 与神经架构搜索
4CIFAR-10 等图像分类基准

学习路径

读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看超参数与架构自动搜索的路线,再看程序合成与进化出程序的先例,理解 AutoML-Zero 为什么要从基本运算起步。

  1. 1
    Practical Bayesian Optimization of Machine Learning Algorithms机器学习算法的实用贝叶斯优化 · 2012

    自动调超参的经典方法,是 AutoML 的起点之一

    读高斯过程与采集函数的基本思路,不必推导

  2. 2
    Learning to learn by gradient descent by gradient descent用梯度下降学习梯度下降 · 2016

    让网络学会优化器,属于自动发现学习算法的思路

    读用 LSTM 作为优化器的做法,对比从基本运算进化出算法

  3. 3
    Neural Architecture Search with Reinforcement Learning用强化学习搜索神经网络架构 · 2016

    神经架构搜索的开创工作,AutoML-Zero 要突破的搜索空间限制

    读控制器 RNN 与强化学习搜索,注意搜索空间由专家设计的层构成

  4. 4
    Learning Transferable Architectures for Scalable Image Recognition学习可迁移的架构以实现可扩展的图像识别(NASNet) · 2017

    把搜索限制在卷积单元内,体现受限搜索空间

    读单元搜索空间的设计,看它依赖多少人工设计的积木

  5. 5

    指出随机搜索在架构搜索中是强基线,提示搜索空间比算法更关键

    读随机搜索与复现实验的结论,对比 AutoML-Zero 的随机搜索基线

  6. 6
    DeepCoder: Learning to Write ProgramsDeepCoder:学习编写程序 · 2016

    程序合成的神经引导搜索,同属自动生成程序

    读用网络预测程序性质来缩小搜索范围

  7. 7
    Evolving simple programs for playing Atari games进化出玩 Atari 游戏的简单程序 · 2018

    用遗传编程进化小程序,与进化搜索程序的做法最接近

    读笛卡尔遗传编程的程序表示与进化流程

  8. 8
    AutoML-Zero: Evolving Machine Learning Algorithms From ScratchAutoML-Zero:从零开始进化机器学习算法 · 2020 · 就是这篇

    目标论文:只用基本运算、靠进化搜索发现完整机器学习算法

    读程序表示、进化搜索流程,以及搜出的算法再发现了哪些已知技巧

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用vidarh · 2020-03

“The paper [1] cites Koza among a total of 102 citations.”

指出论文引用了 Koza 等遗传编程前作
AutoML-Zero: Evolving machine learning algorithms from scratch原评论 ↗
引用jzer0cool · 2020-04

“Here is a paper they referenced in the article:”

贴出文章提到的论文:通过变异和选择从零进化 ML 算法
Google Engineers Mutate AI to Make Systems Evolve Faster Than We Can Code Them原评论 ↗
引用gwern · 2020-05

“Imagine combining such a model with something like AutoML-Zero:”

设想把某模型与 AutoML-Zero 结合起来
Demo of an OpenAI language model applied to code generation [video]原评论 ↗
引用westurner · 2020-07

“How does this compare to MOSES (OpenCog/asmoses) or PLN?”

询问它与 MOSES 或 PLN 相比如何
AutoML-Zero: Evolving Code That Learns原评论 ↗
被提交为 story · 9 次