“For the meta-learning papers, you may have interests to read the related work part of the RL^2 paper RL$^2$.”
RL$^2$: Fast Reinforcement Learning via Slow Reinforcement Learning
RL²:把快速强化学习算法编码进 RNN,再用慢速 RL 训练它
深度强化学习需要海量试验,而动物只需几次就能学会新任务。作者不去设计「快速」RL 算法,而是把它表示成循环神经网络(RNN)并从数据中学习:算法编码在 RNN 的权重中,由通用的「慢速」RL 算法缓慢学习;RNN 接收观测、动作、奖励和终止标志,并在同一个 MDP 的多个回合间保留状态。在随机生成的多臂赌博机和有限 MDP 上训练后,其在新 MDP 上的表现接近带最优性保证的人工设计算法;在基于视觉的导航任务上则表明它可扩展到高维问题。
HN 上的人把它当作元强化学习(learning to learn)的代表之一,常与 DeepMind 同期的同类论文及 MAML 等并列引用,并有人认为元 RL 可能成为突破。
学习路径
读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出候选里与 RL² 直接相关的是深度 RL 基础,先看 DQN 和异步 actor-critic,再读把 RL 算法编码进 RNN 的元学习做法。
- 1
深度 RL 的起点,说明为什么深度 RL 需要海量试验,也就是目标论文要解决的问题。
读Q 学习与经验回放,以及样本效率问题。
- 2
代表深度 RL 的 actor-critic 与循环策略训练方式,RL² 的外层学习同样是在这类算法上训练 RNN。
读actor-critic 与优势函数的基本想法;跳过实现细节。
- 3RL$^2$: Fast Reinforcement Learning via Slow Reinforcement Learning
目标论文:把快速 RL 算法表示为 RNN,用慢速 RL 学习其权重。
读RNN 输入包含动作、奖励与终止标志,且隐状态跨 episode 保留;多臂赌博机与迷宫实验。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Other equally exciting papers that relates to learning to learn in DL.”
“Even more interesting - an OpenAI paper on the roughly same subject/technique came out a little earlier (RL2 fast reinforcement learning for slow reinforcement learning RL$^2$).”
“are state of art in pure RL for now.”
“Meta- reinforcement learning could prove to be such breakthrough, see [1],[2].”
“Note: The original title noted OpenAI's role in the paper, which maybe seen by loading the PDF and reading the author credits.”
看全部 9 条 →
“a pair of (roughly equivalent) papers in this direction recently came out from DeepMind: [OTHER_PAPER] and OpenAI: RL$^2$”
“3. RL$^2$”
“Meta-learning, also known as "learning to learn", is more like MAML[0], RL2[1], L2RL[2], etc.”
- RL²: Fast Reinforcement Learning via Slow Reinforcement Learning (2016) ↗saycheese · 2017-01-19 · 50 分