按年被提到
20202020 · 2 次2026
强化学习与智能体›进化策略与探索·arXiv:2004.12919 · cs.AI

First return, then explore

先返回,再探索
Adrien Ecoffet, Joost Huizinga, Joel Lehman, Kenneth O. Stanley, Jeff Clune · 2020

Go-Explore:先回到有希望的状态再探索,攻克稀疏奖励难题

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2020-04-28 · 最近 2021-11-24
3不同的人
3活跃月份
3讨论串
280被引(OpenAlex)

论文认为强化学习探索困难的根源是算法会遗忘如何回到已访问的状态(脱离),以及没有先回到某状态就开始探索(偏离)。Go-Explore 系列算法的做法很简单:显式记住有希望的状态,先回到那里,再有意识地从那里探索。它解决了此前所有未解的 Atari 游戏,在 Montezuma's Revenge 和 Pitfall 上有数量级的提升,并在稀疏奖励的机器人抓取放置任务上显示出实用潜力。

HN 为什么提它

仅有一位评论者把它作为“非常有趣、但相关性可能没那么高”的探索类论文顺带推荐,HN 上的讨论不多。

方法难度 3 / 5约 60 分钟经得起时间
读之前最好知道
1强化学习基础
2探索与利用(exploration vs. exploitation)
3稀疏奖励问题
4Atari 基准(Montezuma's Revenge)

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先看深度强化学习基础(DQN),再看内在动机与计数式探索、VIME 这类探索方法,以及 PPO 和域随机化,理解 Go-Explore 如何用「先返回再探索」解决稀疏奖励与欺骗性奖励。

  1. 1
    Playing Atari with Deep Reinforcement Learning用深度强化学习玩 Atari 游戏 · 2013

    DQN 是 Atari 上深度强化学习的基线,Go-Explore 的主要评测环境就是 Atari。

    读Q 学习加卷积网络的基本流程与 Atari 实验设置。

  2. 2

    内在动机强化学习是在稀疏奖励下探索的一类主要思路,是 Go-Explore 的对照对象。

    读empowerment 作为内在奖励的概念;变分推导可略读。

  3. 3
    Unifying Count-Based Exploration and Intrinsic Motivation统一基于计数的探索与内在动机 · 2016

    伪计数把计数式探索扩展到深度强化学习,是 Montezuma's Revenge 上的代表性方法。

    读如何由密度模型导出伪计数并用作探索奖励。

  4. 4

    VIME 用信息增益驱动探索,是另一种内在动机方法,可与伪计数对照。

    读用对动力学模型的信息增益作为探索奖励的思路。

  5. 5

    PPO 是常用的策略梯度算法,可作为策略学习的背景。

    读clipped surrogate objective 的基本想法,其他细节略读。

  6. 6
    Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World域随机化:把深度神经网络从仿真迁移到真实世界 · 2017

    域随机化是仿真到真实机器人迁移的做法,对应目标论文中的机器人应用。

    读通过随机化仿真渲染实现迁移的核心思想。

  7. 7
    First return, then explore先返回,再探索 · 2020 · 就是这篇

    提出先回到有希望的状态再探索,克服算法遗忘如何到达已访问状态的问题。

    读先抓探索与稳健化两个阶段、状态归档的思想,再看 Montezuma's Revenge 与 Pitfall 的结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐FlyingSaucer · 2021-11

“Lastly, a paper that i find very very interesting but might not be as relevant but still is 'First return, then explore'[2]”

推荐这篇很有意思的探索论文,虽然相关性可能不高
Neuro Evolution of Augmented Topologies原评论 ↗
被提交为 story · 2 次