按年被提到
20172018 · 2 次2026
强化学习与智能体›进化策略与探索·arXiv:1707.06887 · cs.LG

A Distributional Perspective on Reinforcement Learning

强化学习的分布视角
Marc G. Bellemare, Will Dabney, Rémi Munos · 2017

主张建模回报的完整分布而非期望,并给出分布式深度强化学习算法

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2017-07-29 · 最近 2018-08-28
3不同的人
3活跃月份
3讨论串
709被引(OpenAlex)

论文主张强化学习应当建模价值分布(智能体所获随机回报的分布),而不只是其期望。作者先在策略评估和控制两种设定下给出理论结果,并揭示控制设定中存在显著的分布不稳定性,再据此设计把贝尔曼方程应用于近似价值分布学习的新算法。在 Arcade Learning Environment 的游戏集上取得了当时最先进的结果,并展示了价值分布对近似强化学习的影响。

HN 为什么提它

HN 上的人把它当作最先进强化学习算法的代表来引用,也用它说明可以估计回报的完整分布,从而获得不确定性和风险度量。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1强化学习基础(MDP)
2贝尔曼方程(Bellman equation)
3DQN 与深度强化学习
4概率分布与 KL 散度

学习路径

读这篇之前,按顺序读书架上的 1 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先建立 DQN 与 Double DQN 的价值函数基础,目标论文正是在它们之上把期望回报换成完整的回报分布。

  1. 1

    它是目标论文实验中使用的 DQN 改进基线之一,也说明价值估计偏差的问题。

    读Double Q-learning 如何缓解过估计,以及更新目标的改动。

  2. 2
    A Distributional Perspective on Reinforcement Learning强化学习的分布视角 · 2017 · 就是这篇

    读完价值函数基础后,再看把期望换成回报分布的理论与算法。

    读分布式贝尔曼算子及其在 Wasserstein 度量下的性质、C51 算法的投影步骤;以及 Atari 上的结果对比。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用backpropaganda · 2017-07

“You can say RL is not hard when you manage to teach all aspects of the SOTA RL algorithm”

拿它反驳 RL 不难的说法,以此 SOTA RL 算法为例
Thoughts on OpenAI, reinforcement learning, and killer robots原评论 ↗
引用clickok · 2018-04

“work by Bellemare [3] for estimating the distribution of the return”

提到 Bellemare 估计回报分布的工作
Another Tesla on autopilot steers towards a barrier原评论 ↗
被提交为 story · 1 次