按年被提到
20162016 · 4 次2026
强化学习与智能体›进化策略与探索·arXiv:1606.01868 · cs.AI

Unifying Count-Based Exploration and Intrinsic Motivation

统一基于计数的探索与内在动机
Marc G. Bellemare, Sriram Srinivasan, Georg Ostrovski, Tom Schaul, David Saxton, Remi Munos · 2016

从密度模型导出伪计数,让深度强化学习能探索难游戏

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 6 人首次 2016-06-07 · 最近 2018-07-04发表于 neural information processing systems
6不同的人
3活跃月份
4讨论串
694被引(OpenAlex)

研究非表格强化学习中的探索问题:用密度模型度量智能体对环境的不确定性,并提出从任意密度模型导出伪计数(pseudo-count)的算法,从而把基于计数的探索推广到非表格场景。作者把伪计数转化为内在奖励,在 Atari 2600 的若干困难游戏中显著改进了探索,包括出了名难的 Montezuma's Revenge。

HN 为什么提它

评论者把它作为 DeepMind 在 Montezuma's Revenge 探索上的原始论文来链接,也把它当作先前工作的例子,说明这类方法当时仍未真正解决该游戏。

方法难度 4 / 5约 40 分钟经得起时间
读之前最好知道
1强化学习基础
2探索与利用(exploration vs exploitation)
3密度模型
4内在动机(intrinsic motivation)

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我建立深度 Q 学习基础,以及内在动机、信息增益类探索方法的背景,再读如何从密度模型导出伪计数。

  1. 1
    Playing Atari with Deep Reinforcement Learning用深度强化学习玩 Atari 游戏 · 2013

    目标论文在 Atari 上用的就是 DQN 一类的深度强化学习智能体。

    读Q 学习加卷积网络与经验回放;了解 Atari 的像素输入设定。

  2. 2

    目标论文的实验智能体用到 Double DQN 的改进。

    读Q 学习的过估计问题与双重估计的修正。

  3. 3

    目标论文的「内在动机」思想可追溯到这类好奇心与压缩进步的理论。

    读把好奇心看作对压缩进度的奖励这一核心想法。

  4. 4

    它是深度网络下的内在动机方法之一,是目标论文对比的相关工作。

    读赋能(empowerment)作为内在奖励,以及变分下界的使用方式。

  5. 5

    它是同时期基于信息增益的探索方法,常与伪计数方法对比。

    读用对动力学模型的信息增益驱动探索的想法。

  6. 6
    Unifying Count-Based Exploration and Intrinsic Motivation统一基于计数的探索与内在动机 · 2016 · 就是这篇

    目标论文:从密度模型导出伪计数以做基于计数的探索。

    读伪计数的推导、与信息增益和预测增益的联系,以及在难探索的 Atari 游戏上的实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐AstralStorm · 2017-09

“Google DeepMind paper is way more actually feasible to improve upon and rich in detail”

认为 DeepMind 这篇更可行、更有细节,便于改进
Artificial Intelligence Uses Videogame Footage to Recreate Game Engine原评论 ↗
引用jerf · 2016-06

“the paper is at Unifying Count-Based Exploration and Intrinsic Motivation”

给出论文的链接
Deep Mind Playing Montezuma's Revenge with Intrinsic Motivation [video]原评论 ↗
引用sehugg · 2016-06

“here's the related paper”

贴出相关论文
Deep Mind Playing Montezuma's Revenge with Intrinsic Motivation [video]原评论 ↗
引用dang · 2016-06

“At first to Unifying Count-Based Exploration and Intrinsic Motivation, but since everyone's going to want to watch the video, that seems a bit too abstruse.”

链接这篇论文,但觉得对多数人太晦涩
Deep Mind Playing Montezuma's Revenge with Intrinsic Motivation [video]原评论 ↗
引用ilyasut · 2018-07

“There has been a fair bit of past work exploring the idea you described (examples: Unifying Count-Based Exploration and Intrinsic Motivation, [OTHER_PAPER], [LINK], [LINK]).”

指出此前已有探索同类想法的工作
Learning ‘Montezuma’s Revenge’ from a single demonstration原评论 ↗
被提交为 story · 1 次