“are state of art in pure RL for now.”
Learning to reinforcement learn
用循环网络实现元强化学习,让智能体快速适应新任务
深度强化学习虽在许多任务上达到超人水平,但需要海量训练数据,因此需要能快速适应新任务的方法。论文提出深度元强化学习:把此前用循环网络做监督元学习的思路扩展到强化学习,训练时使用一个 RL 算法,而网络的循环动力学实现了另一个独立的 RL 过程,后者可以与原算法有任意差异,并且因为是学出来的,能利用训练领域的结构。作者用七个概念验证实验分析其关键方面,并讨论扩展前景及对神经科学的潜在意义。
HN 上的人把它当作 DeepMind 的元强化学习代表作,与 OpenAI 的 RL2 并列,用来说明元学习可能缓解深度学习数据饥渴和迁移能力弱的问题。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先建立深度强化学习(DQN、A3C)和元学习(学习优化器)的背景,再读与它同期的 RL² 以及论文里要解决的数据效率问题。
- 1
- 2
论文使用的 actor-critic 训练方法 A3C 来自这里。
读异步 actor-learner 与优势函数的 actor-critic 更新。
- 3
用 LSTM 做元学习的监督版本,论文把它推广到强化学习。
读让循环网络学习更新规则的思路。
- 4
- 5
同期且思路几乎一致的工作,RNN 编码快速 RL 算法。
读与目标论文的方法与实验设定对比。
- 6Learning to reinforcement learn
目标论文:用循环网络实现深度元强化学习。
读把上一步动作与奖励输入循环网络的设计,以及老虎机和迷宫实验。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Meta- reinforcement learning could prove to be such breakthrough, see [1],[2].”
“a pair of (roughly equivalent) papers in this direction recently came out from DeepMind: Learning to reinforcement learn”
“Many concerns in this paper, especially about deep learning being data hungry, limited capacity for transfer, and integrating prior knowledge are addressed by recent papers in meta-learning and learning-to-learn”
“Meta-learning, also known as "learning to learn", is more like MAML[0], RL2[1], L2RL[2], etc.”
- Learning to reinforcement learn ↗vivekchandsrc · 2016-11-19 · 97 分