“Lastly, a paper that i find very very interesting but might not be as relevant but still is 'First return, then explore'[2]”
First return, then explore
Go-Explore:先回到有希望的状态再探索,攻克稀疏奖励难题
论文认为强化学习探索困难的根源是算法会遗忘如何回到已访问的状态(脱离),以及没有先回到某状态就开始探索(偏离)。Go-Explore 系列算法的做法很简单:显式记住有希望的状态,先回到那里,再有意识地从那里探索。它解决了此前所有未解的 Atari 游戏,在 Montezuma's Revenge 和 Pitfall 上有数量级的提升,并在稀疏奖励的机器人抓取放置任务上显示出实用潜力。
仅有一位评论者把它作为“非常有趣、但相关性可能没那么高”的探索类论文顺带推荐,HN 上的讨论不多。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先看深度强化学习基础(DQN),再看内在动机与计数式探索、VIME 这类探索方法,以及 PPO 和域随机化,理解 Go-Explore 如何用「先返回再探索」解决稀疏奖励与欺骗性奖励。
- 1
DQN 是 Atari 上深度强化学习的基线,Go-Explore 的主要评测环境就是 Atari。
读Q 学习加卷积网络的基本流程与 Atari 实验设置。
- 2
内在动机强化学习是在稀疏奖励下探索的一类主要思路,是 Go-Explore 的对照对象。
读empowerment 作为内在奖励的概念;变分推导可略读。
- 3
伪计数把计数式探索扩展到深度强化学习,是 Montezuma's Revenge 上的代表性方法。
读如何由密度模型导出伪计数并用作探索奖励。
- 4
VIME 用信息增益驱动探索,是另一种内在动机方法,可与伪计数对照。
读用对动力学模型的信息增益作为探索奖励的思路。
- 5
PPO 是常用的策略梯度算法,可作为策略学习的背景。
读clipped surrogate objective 的基本想法,其他细节略读。
- 6
域随机化是仿真到真实机器人迁移的做法,对应目标论文中的机器人应用。
读通过随机化仿真渲染实现迁移的核心思想。
- 7First return, then explore
提出先回到有希望的状态再探索,克服算法遗忘如何到达已访问状态的问题。
读先抓探索与稳健化两个阶段、状态归档的思想,再看 Montezuma's Revenge 与 Pitfall 的结果。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及- First Return Then Explore ↗RichardRNN · 2020-04-28 · 1 分
- First Return Then Explore ↗xzvf · 2020-06-07 · 1 分