引用backpropaganda · 2017-07
“You can say RL is not hard when you manage to teach all aspects of the SOTA RL algorithm”
拿它反驳 RL 不难的说法,以此 SOTA RL 算法为例
主张建模回报的完整分布而非期望,并给出分布式深度强化学习算法
论文主张强化学习应当建模价值分布(智能体所获随机回报的分布),而不只是其期望。作者先在策略评估和控制两种设定下给出理论结果,并揭示控制设定中存在显著的分布不稳定性,再据此设计把贝尔曼方程应用于近似价值分布学习的新算法。在 Arcade Learning Environment 的游戏集上取得了当时最先进的结果,并展示了价值分布对近似强化学习的影响。
HN 上的人把它当作最先进强化学习算法的代表来引用,也用它说明可以估计回报的完整分布,从而获得不确定性和风险度量。
这条路径先建立 DQN 与 Double DQN 的价值函数基础,目标论文正是在它们之上把期望回报换成完整的回报分布。
它是目标论文实验中使用的 DQN 改进基线之一,也说明价值估计偏差的问题。
读Double Q-learning 如何缓解过估计,以及更新目标的改动。
读完价值函数基础后,再看把期望换成回报分布的理论与算法。
读分布式贝尔曼算子及其在 Wasserstein 度量下的性质、C51 算法的投影步骤;以及 Atari 上的结果对比。
“You can say RL is not hard when you manage to teach all aspects of the SOTA RL algorithm”
“work by Bellemare [3] for estimating the distribution of the return”