按年被提到
20152015 · 4 次2026
强化学习与智能体›深度强化学习与世界模型·arXiv:1509.02971 · cs.LG

Continuous control with deep reinforcement learning

用深度强化学习做连续控制
Timothy P. Lillicrap, Jonathan J. Hunt, Alexander Pritzel, Nicolas Heess, Tom Erez, Yuval Tassa, David Silver, Daan Wierstra · 2015

把 DQN 思想推广到连续动作空间的 actor-critic 算法 DDPG。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2015-09-11 · 最近 2020-12-01
6不同的人
5活跃月份
6讨论串
10,767被引(OpenAlex)

论文把深度 Q 学习成功背后的思想推广到连续动作领域,提出一个基于确定性策略梯度的 actor-critic 无模型算法,可在连续动作空间中运行。用同一套学习算法、网络结构和超参数,它稳健地解决了 20 多个模拟物理任务,包括摆杆起摆、灵巧操作、腿式运动和驾驶等。它找到的策略性能可与完全掌握动力学及其导数的规划算法相比,并且在许多任务上能直接从原始像素输入端到端地学习策略。

HN 为什么提它

评论者把它作为“用 actor-critic 学连续策略、甚至直接从像素输入控制”的深度强化学习方法引用,也有人指出标准 DDPG 会在环境里陷入坑洞这类局部最优。

方法难度 4 / 5约 35 分钟经得起时间
读之前最好知道
1强化学习与 Q-learning
2深度 Q 网络(DQN)
3策略梯度与 actor-critic
4确定性策略梯度

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看 DQN 如何把深度网络用于 Q 学习,再看视觉运动策略的端到端训练,然后读把这些思想推广到连续动作的 DDPG。

  1. 1
    Playing Atari with Deep Reinforcement Learning用深度强化学习玩 Atari 游戏 · 2013

    DDPG 明确借鉴了 DQN 的经验回放和目标网络思想,并把它推广到连续动作。

    读理解 Q 学习、经验回放和用卷积网络近似 Q 函数,了解其只适用于离散动作的局限。

  2. 2
    End-to-End Training of Deep Visuomotor Policies深度视觉运动策略的端到端训练 · 2015

    同属用深度网络端到端学习连续控制的工作,可对照理解连续控制问题的难点。

    读了解从像素直接输出电机力矩的设定,以及它与 DDPG 路线的差异。

  3. 3
    Continuous control with deep reinforcement learning用深度强化学习做连续控制 · 2015 · 就是这篇

    目标论文:基于确定性策略梯度的 actor-critic 方法 DDPG。

    读看 actor 和 critic 的更新、目标网络的软更新以及探索噪声,实验部分挑几个任务看即可。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用mappingbabeljc · 2015-10

“actions keying off of raw pixel inputs (paper: Continuous control with deep reinforcement learning)”

引用它作为从原始像素输入决定动作的深度 RL 工作
A Peek Inside Google’s Efforts to Create a General-Purpose Robot原评论 ↗
引用jpfr · 2015-12

“[2] Continuous control with deep reinforcement learning”

把它列为近期的连续控制深度 RL 思路之一
The first person to hack the iPhone is building a self-driving car原评论 ↗
引用ogrisel · 2016-03

“actor-critic to learn an continuous policy:”

指出它用 actor-critic 学习连续策略
AlphaGo beats the world champion Lee Sedol in first of five matches原评论 ↗
引用laquition · 2020-12

“My favorite fun example is [LINK] where a standard DDPG will get stuck at pits in the environment.”

举例说明标准 DDPG 会卡在环境的坑里
You might not need machine learning原评论 ↗
被提交为 story · 2 次