“I find this to be extremely exciting.”
按年被提到
20172017 · 2 次2026
Deep Neuroevolution: Genetic Algorithms Are a Competitive Alternative for Training Deep Neural Networks for Reinforcement Learning
深度神经进化:遗传算法是训练深度强化学习网络的有力替代方案
Felipe Petroski Such, Vashisht Madhavan, Edoardo Conti, Joel Lehman, Kenneth O. Stanley, Jeff Clune · 2017
简单遗传算法无梯度训练百万参数网络,可与深度 RL 竞争
被推荐 · 4 人首次 2017-12-21 · 最近 2018-07-26
4不同的人
3活跃月份
4讨论串
532被引(OpenAlex)
证明简单的、无梯度的种群遗传算法(GA)也能在 DNN 规模上工作:用它进化网络权重,在 Atari 和类人运动等困难深度强化学习任务上表现良好,成功进化出超过 400 万参数的网络。结合新颖性搜索,还能解决 DQN、A3C、ES 和 GA 都失败的高维欺骗性任务;Deep GA 比 ES、A3C 和 DQN 更快。
HN 为什么提它
评论者认为它令人兴奋,说明不依赖梯度的遗传算法也能与深度 RL 竞争,并可在单台工作站或 CPU 集群上训练,迭代更快。
方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1深度强化学习(DQN、A3C)
2遗传算法与进化策略(evolution strategies)
3反向传播与梯度下降
4新颖性搜索(novelty search)
学习路径
读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先看深度强化学习的基线(DQN、A3C),再读进化策略 ES 作为可扩展的替代方案,最后读用简单遗传算法训练深度网络的目标论文。
- 1
目标论文在 Atari 上与 DQN 对比,需要先知道这条基线。
读Q 学习加卷积网络从像素学习、经验回放;了解 Atari 任务设定。
- 2
A3C 是目标论文用来对比的另一类基于梯度的深度 RL 方法。
读异步 actor-learner 的思路与 actor-critic 的基本形式。
- 3
ES 证明无梯度的进化类方法能在深度 RL 上与梯度方法竞争,目标论文正是对它的延伸。
读ES 如何用参数扰动估计梯度并可大规模并行;抓住它为何被视为一种近似梯度方法。
- 4Deep Neuroevolution: Genetic Algorithms Are a Competitive Alternative for Training Deep Neural Networks for Reinforcement Learning
目标论文:用不依赖梯度的简单遗传算法训练百万参数网络,与深度 RL 竞争。
读遗传算法的种群、变异和选择流程,以及在 Atari 上与 DQN、A3C、ES 的结果对比。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及推荐pjrule · 2018-06
非常兴奋,认为参数少、单台工作站就能跑的神经进化能加快迭代
引用Matumio · 2017-12
“Paper: Deep Neuroevolution”
贴出论文,说明遗传算法可与基于梯度的深度 RL 竞争
引用tree_of_item · 2018-07
“that make the claim that CPU training is very much feasible”
举例支持 CPU 训练完全可行的说法
被提交为 story · 1 次
- Genetic Algorithms for Training Deep Neural Networks for Reinforcement Learning ↗magoghm · 2017-12-21 · 124 分