“I wonder if these guys are a bit quick to give themselves credit. There's a lengthy (and depressing) series of posts by Ben Recht[1] that basically outlines all the reasons that model-free RL is effectively bunk if you have access to any model of how the environment evolves. These guys (as far as I can tell), haven't made any attempt to disambiguate how …”
Model-Based Reinforcement Learning for Atari
用视频预测模型做 SimPLe,仅 10 万次交互就在多数 Atari 游戏上超越无模型方法
无模型强化学习要玩好 Atari 需要远多于人类的交互。论文探索视频预测模型能否让智能体用更少交互解决 Atari 游戏,提出完整的基于模型的深度强化学习算法 SimPLe(Simulated Policy Learning),比较了多种模型架构,其中包括一个在此设定下效果最好的新架构。实验在 10 万次交互(约两小时实时游戏)的低数据情形下进行,SimPLe 在多数游戏中优于最先进的无模型算法,部分游戏领先超过一个数量级。
输入里没有可用的评论摘录,只知道 3 个人在 2019 年的 3 个月里提及,具体立场无法判断。
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出从无模型的 Atari 深度强化学习,到策略优化与变分生成模型,再读基于视频预测模型的样本高效方法。
- 1
Atari 深度强化学习的起点,是本文要在样本效率上超越的无模型方法。
读抓 DQN 的输入、经验回放和 Q 学习目标。
- 2
异步无模型方法,是本文比较的另一类强无模型基线思路。
读抓 actor-critic 的并行训练思路,不必看全部实验。
- 3
- 4
- 5Model-Based Reinforcement Learning for Atari
用视频预测模型做 SimPLe,仅 10 万次交互就在多数 Atari 游戏上超越无模型方法。
读抓世界模型与策略交替训练的循环,以及样本效率的对比结果。
HN 书评
没有评论直接链到它;下面是它被提交的讨论串里回复最多的评论(不计入统计)“Hasselt and co, who authored the original Rainbow DQN model that was bested by SimPLe (this paper), responded recently with "When to use parametric models in reinforcement learning?" [1], which is an interesting read. Punchline: "We explain why their [SimPLe's] results may perhaps be considered surprising, and show that in a like-for-like comparison Rainb…”
- Model-Based Reinforcement Learning for Atari ↗lainon · 2019-03-05 · 1 分
- Model-Based Reinforcement Learning for Atari ↗ArtWomb · 2019-07-12 · 3 分
- Model-Based Reinforcement Learning for Atari ↗henning · 2019-08-18 · 58 分