按年被提到
20162016 · 3 次2026
强化学习与智能体›深度强化学习与世界模型·arXiv:1611.05763 · cs.LG

Learning to reinforcement learn

学习如何强化学习
Jane X Wang, Zeb Kurth-Nelson, Dhruva Tirumala, Hubert Soyer, Joel Z Leibo, Remi Munos, Charles Blundell, Dharshan Kumaran, Matt Botvinick · 2016

用循环网络实现元强化学习,让智能体快速适应新任务

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2016-11-19 · 最近 2019-03-28
5不同的人
5活跃月份
6讨论串
579被引(OpenAlex)

深度强化学习虽在许多任务上达到超人水平,但需要海量训练数据,因此需要能快速适应新任务的方法。论文提出深度元强化学习:把此前用循环网络做监督元学习的思路扩展到强化学习,训练时使用一个 RL 算法,而网络的循环动力学实现了另一个独立的 RL 过程,后者可以与原算法有任意差异,并且因为是学出来的,能利用训练领域的结构。作者用七个概念验证实验分析其关键方面,并讨论扩展前景及对神经科学的潜在意义。

HN 为什么提它

HN 上的人把它当作 DeepMind 的元强化学习代表作,与 OpenAI 的 RL2 并列,用来说明元学习可能缓解深度学习数据饥渴和迁移能力弱的问题。

方法难度 4 / 5约 50 分钟有时效性
读之前最好知道
1强化学习基础(策略、价值函数)
2循环神经网络与 LSTM
3元学习(meta-learning)
4A3C 等深度强化学习算法

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先建立深度强化学习(DQN、A3C)和元学习(学习优化器)的背景,再读与它同期的 RL² 以及论文里要解决的数据效率问题。

  1. 1
    Playing Atari with Deep Reinforcement Learning用深度强化学习玩 Atari 游戏 · 2013

    深度强化学习的起点,论文要改进的就是这类方法的数据饥渴。

    读Q 学习加卷积网络与经验回放。

  2. 2
    Asynchronous Methods for Deep Reinforcement Learning深度强化学习的异步方法 · 2016

    论文使用的 actor-critic 训练方法 A3C 来自这里。

    读异步 actor-learner 与优势函数的 actor-critic 更新。

  3. 3
    Learning to learn by gradient descent by gradient descent用梯度下降学习梯度下降 · 2016

    用 LSTM 做元学习的监督版本,论文把它推广到强化学习。

    读让循环网络学习更新规则的思路。

  4. 4
    Building Machines That Learn and Think Like People构建像人一样学习和思考的机器 · 2016

    说明为什么需要快速适应新任务:类人学习的标准。

    读数据效率与快速学习的论述部分。

  5. 5
    RL$^2$: Fast Reinforcement Learning via Slow Reinforcement LearningRL²:通过慢速强化学习实现快速强化学习 · 2016

    同期且思路几乎一致的工作,RNN 编码快速 RL 算法。

    读与目标论文的方法与实验设定对比。

  6. 6
    Learning to reinforcement learn学习如何强化学习 · 2016 · 就是这篇

    目标论文:用循环网络实现深度元强化学习。

    读把上一步动作与奖励输入循环网络的设计,以及老虎机和迷宫实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用sapphireblue · 2016-12

“are state of art in pure RL for now.”

认为这类 meta-RL 循环智能体目前是纯 RL 的 state of the art
OpenAI Universe原评论 ↗
引用sapphireblue · 2016-12

“Meta- reinforcement learning could prove to be such breakthrough, see [1],[2].”

引用它作为依据,认为 meta-RL 可能成为突破
Tool AIs want to be agent AIs原评论 ↗
引用willwhitney · 2017-02

“a pair of (roughly equivalent) papers in this direction recently came out from DeepMind: Learning to reinforcement learn”

指出 DeepMind 也发了一篇大致等价的 meta-RL 论文
Beating the World’s Best at Super Smash Bros. with Deep Reinforcement Learning原评论 ↗
引用trextrex · 2018-06

“Many concerns in this paper, especially about deep learning being data hungry, limited capacity for transfer, and integrating prior knowledge are addressed by recent papers in meta-learning and learning-to-learn”

指出 meta-learning 已在回应深度学习数据饥渴、迁移弱的问题
Deep learning: a critical appraisal原评论 ↗
引用jimfleming · 2019-03

“Meta-learning, also known as "learning to learn", is more like MAML[0], RL2[1], L2RL[2], etc.”

把它与 MAML、RL2 并列,作为真正的 meta-learning 例子
Gödel Machine原评论 ↗
被提交为 story · 1 次