按年被提到
20192019 · 3 次2026
强化学习与智能体›博弈与游戏 AI·arXiv:1903.00374 · cs.LG

Model-Based Reinforcement Learning for Atari

面向 Atari 的基于模型的强化学习
Lukasz Kaiser, Mohammad Babaeizadeh, Piotr Milos, Blazej Osinski, Roy H Campbell, Konrad Czechowski, Dumitru Erhan, Chelsea Finn, Piotr Kozakowski, Sergey Levine, Afroz Mohiuddin, Ryan Sepassi 等 14 人 · 2019

用视频预测模型做 SimPLe,仅 10 万次交互就在多数 Atari 游戏上超越无模型方法

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2019-03-05 · 最近 2019-08-18发表于 International Conference on Learning Representations
3不同的人
3活跃月份
3讨论串
554被引(OpenAlex)

无模型强化学习要玩好 Atari 需要远多于人类的交互。论文探索视频预测模型能否让智能体用更少交互解决 Atari 游戏,提出完整的基于模型的深度强化学习算法 SimPLe(Simulated Policy Learning),比较了多种模型架构,其中包括一个在此设定下效果最好的新架构。实验在 10 万次交互(约两小时实时游戏)的低数据情形下进行,SimPLe 在多数游戏中优于最先进的无模型算法,部分游戏领先超过一个数量级。

HN 为什么提它

输入里没有可用的评论摘录,只知道 3 个人在 2019 年的 3 个月里提及,具体立场无法判断。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1强化学习基础(policy、reward)
2模型自由与基于模型的强化学习
3视频预测与生成模型
4PPO 等策略梯度算法
5Atari 基准

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

从无模型的 Atari 深度强化学习,到策略优化与变分生成模型,再读基于视频预测模型的样本高效方法。

  1. 1
    Playing Atari with Deep Reinforcement Learning用深度强化学习玩 Atari 游戏 · 2013

    Atari 深度强化学习的起点,是本文要在样本效率上超越的无模型方法。

    读抓 DQN 的输入、经验回放和 Q 学习目标。

  2. 2
    Asynchronous Methods for Deep Reinforcement Learning深度强化学习的异步方法 · 2016

    异步无模型方法,是本文比较的另一类强无模型基线思路。

    读抓 actor-critic 的并行训练思路,不必看全部实验。

  3. 3

    本文在学到的模型里用 PPO 训练策略。

    读抓裁剪目标的思想及其作为稳定策略优化的作用。

  4. 4
    Auto-Encoding Variational Bayes自编码变分贝叶斯 · 2013

    视频预测模型的随机潜变量可用变分方法训练。

    读抓重参数化与变分下界。

  5. 5
    Model-Based Reinforcement Learning for Atari面向 Atari 的基于模型的强化学习 · 2019 · 就是这篇

    用视频预测模型做 SimPLe,仅 10 万次交互就在多数 Atari 游戏上超越无模型方法。

    读抓世界模型与策略交替训练的循环,以及样本效率的对比结果。

HN 书评

没有评论直接链到它;下面是它被提交的讨论串里回复最多的评论(不计入统计)
讨论串评论s_Hogg · 2019-08

“I wonder if these guys are a bit quick to give themselves credit. There's a lengthy (and depressing) series of posts by Ben Recht[1] that basically outlines all the reasons that model-free RL is effectively bunk if you have access to any model of how the environment evolves. These guys (as far as I can tell), haven't made any attempt to disambiguate how …”

Model-Based Reinforcement Learning for Atari原评论 ↗
讨论串评论taliesinb · 2019-08

“Hasselt and co, who authored the original Rainbow DQN model that was bested by SimPLe (this paper), responded recently with "When to use parametric models in reinforcement learning?" [1], which is an interesting read. Punchline: "We explain why their [SimPLe's] results may perhaps be considered surprising, and show that in a like-for-like comparison Rainb…”

Model-Based Reinforcement Learning for Atari原评论 ↗
被提交为 story · 3 次