按年被提到
20162017 · 5 次2026
强化学习与智能体›深度强化学习与世界模型·arXiv:1611.02779 · cs.AI

RL$^2$: Fast Reinforcement Learning via Slow Reinforcement Learning

RL²:通过慢速强化学习实现快速强化学习
Yan Duan, John Schulman, Xi Chen, Peter L. Bartlett, Ilya Sutskever, Pieter Abbeel · 2016

RL²:把快速强化学习算法编码进 RNN,再用慢速 RL 训练它

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 8 人首次 2016-11-19 · 最近 2019-03-28
8不同的人
6活跃月份
8讨论串
457被引(OpenAlex)

深度强化学习需要海量试验,而动物只需几次就能学会新任务。作者不去设计「快速」RL 算法,而是把它表示成循环神经网络(RNN)并从数据中学习:算法编码在 RNN 的权重中,由通用的「慢速」RL 算法缓慢学习;RNN 接收观测、动作、奖励和终止标志,并在同一个 MDP 的多个回合间保留状态。在随机生成的多臂赌博机和有限 MDP 上训练后,其在新 MDP 上的表现接近带最优性保证的人工设计算法;在基于视觉的导航任务上则表明它可扩展到高维问题。

HN 为什么提它

HN 上的人把它当作元强化学习(learning to learn)的代表之一,常与 DeepMind 同期的同类论文及 MAML 等并列引用,并有人认为元 RL 可能成为突破。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1强化学习与马尔可夫决策过程(MDP)
2循环神经网络(RNN / LSTM)
3元学习(meta-learning)
4多臂赌博机(multi-armed bandit)

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

候选里与 RL² 直接相关的是深度 RL 基础,先看 DQN 和异步 actor-critic,再读把 RL 算法编码进 RNN 的元学习做法。

  1. 1
    Playing Atari with Deep Reinforcement Learning用深度强化学习玩 Atari 游戏 · 2013

    深度 RL 的起点,说明为什么深度 RL 需要海量试验,也就是目标论文要解决的问题。

    读Q 学习与经验回放,以及样本效率问题。

  2. 2
    Asynchronous Methods for Deep Reinforcement Learning深度强化学习的异步方法 · 2016

    代表深度 RL 的 actor-critic 与循环策略训练方式,RL² 的外层学习同样是在这类算法上训练 RNN。

    读actor-critic 与优势函数的基本想法;跳过实现细节。

  3. 3
    RL$^2$: Fast Reinforcement Learning via Slow Reinforcement LearningRL²:通过慢速强化学习实现快速强化学习 · 2016 · 就是这篇

    目标论文:把快速 RL 算法表示为 RNN,用慢速 RL 学习其权重。

    读RNN 输入包含动作、奖励与终止标志,且隐状态跨 episode 保留;多臂赌博机与迷宫实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐zhongwenxu · 2016-11

“For the meta-learning papers, you may have interests to read the related work part of the RL^2 paper RL$^2$.”

建议读 RL² 论文的相关工作部分,了解元学习的各条研究脉络
Learning to reinforcement learn原评论 ↗
推荐lucidrains · 2017-01

“Other equally exciting papers that relates to learning to learn in DL.”

把它列为 DL 中学会学习方向同样令人兴奋的论文,用慢速 RL 元学习出快速 RL 算法
Learning to Learn in TensorFlow原评论 ↗
引用mappingbabeljc · 2016-11

“Even more interesting - an OpenAI paper on the roughly same subject/technique came out a little earlier (RL2 fast reinforcement learning for slow reinforcement learning RL$^2$).”

指出 OpenAI 有一篇技术思路大致相同的论文稍早发表
Learning to reinforcement learn原评论 ↗
引用sapphireblue · 2016-12

“are state of art in pure RL for now.”

把 RL² 这种元 RL 方法列为目前纯 RL 的最先进水平
OpenAI Universe原评论 ↗
引用sapphireblue · 2016-12

“Meta- reinforcement learning could prove to be such breakthrough, see [1],[2].”

认为元强化学习可能成为突破,并引用这篇论文佐证
Tool AIs want to be agent AIs原评论 ↗
引用saycheese · 2017-01

“Note: The original title noted OpenAI's role in the paper, which maybe seen by loading the PDF and reading the author credits.”

说明原标题提到的 OpenAI 角色可在 PDF 的作者署名里看到
RL²: Fast Reinforcement Learning via Slow Reinforcement Learning (2016)原评论 ↗
看全部 9 条 →
引用willwhitney · 2017-02

“a pair of (roughly equivalent) papers in this direction recently came out from DeepMind: [OTHER_PAPER] and OpenAI: RL$^2$”

指出 OpenAI 的这篇元 RL 论文与 DeepMind 的一篇大致相当
Beating the World’s Best at Super Smash Bros. with Deep Reinforcement Learning原评论 ↗
引用readonlydanger · 2017-06

“3. RL$^2$”

列为参考文献:带有快速内层学习器的元强化学习
Learning to Cooperate, Compete, and Communicate原评论 ↗
引用jimfleming · 2019-03

“Meta-learning, also known as "learning to learn", is more like MAML[0], RL2[1], L2RL[2], etc.”

举 RL2 为元学习的例子:用 RL 训练的 RL 智能体去学新任务
Gödel Machine原评论 ↗
被提交为 story · 1 次