按年被提到
20162016 · 9 次2026
强化学习与智能体›深度强化学习与世界模型·arXiv:1602.01783 · cs.LG

Asynchronous Methods for Deep Reinforcement Learning

深度强化学习的异步方法
Volodymyr Mnih, Adrià Puigdomènech Badia, Mehdi Mirza, Alex Graves, Timothy P. Lillicrap, Tim Harley, David Silver, Koray Kavukcuoglu · 2016

用多个并行 actor-learner 异步训练深度 RL,仅需多核 CPU

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 11 人首次 2016-02-05 · 最近 2017-12-14
11不同的人
8活跃月份
11讨论串
7,126被引(OpenAlex)

论文提出一个概念简单、轻量的深度强化学习框架,用异步梯度下降优化深度神经网络控制器。作者给出四种标准强化学习算法的异步变体,表明并行的 actor-learner 对训练有稳定作用,使四种方法都能成功训练神经网络控制器。表现最好的异步 actor-critic 在 Atari 上超过当时的最先进水平,且在单个多核 CPU 而非 GPU 上只用一半时间训练;它还能在多种连续运动控制问题以及用视觉输入在随机 3D 迷宫中导航的新任务上取得成功。

HN 为什么提它

评论者把它当作 A3C 的出处,强调不用 GPU、只靠 CPU 就取得纪录级的强化学习结果,且并行 actor 能打散经验相关性、加快训练。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1强化学习基础(actor-critic)
2深度 Q 学习与 Atari 基准
3梯度下降与并行训练

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先掌握 DQN 与 DDPG 这两个深度强化学习的基础,再看 A3C 如何用异步并行替代经验回放。

  1. 1
    Playing Atari with Deep Reinforcement Learning用深度强化学习玩 Atari 游戏 · 2013

    A3C 的出发点:DQN 及其依赖的经验回放

    读Q 学习加卷积网络,以及经验回放为什么能稳定训练

  2. 2
    Continuous control with deep reinforcement learning用深度强化学习做连续控制 · 2015

    把 actor-critic 推到连续动作,A3C 也在连续控制任务上测试

    读actor-critic 的结构与目标网络的使用,对比 A3C 的做法

  3. 3
    Asynchronous Methods for Deep Reinforcement Learning深度强化学习的异步方法 · 2016 · 就是这篇

    目标论文:多个异步 actor-learner 并行训练

    读异步更新如何稳定训练,以及 A3C 与其他三种变体的区别

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用sapphireblue · 2016-04

“you can read about their latest agent here Asynchronous Methods for Deep Reinforcement Learning”

指向 DeepMind 最新的 agent 论文
How Far to AI Utopia?原评论 ↗
引用chris_va · 2016-06

“No GPUs necessary, gives similar/better results in similar time (see Asynchronous Methods for Deep Reinforcement Learning)”

引用它说明无需 GPU 就能在相近时间得到相近或更好的结果
Deep Reinforcement Learning Using Keras and OpenAI Gym原评论 ↗
引用blueeyes44 · 2016-08

“A3C[1] is working and more features are being added.”

说明项目里 A3C 已经能跑通
Reinforcement Learning and DQN – learning to play from pixels原评论 ↗
引用macromaniac · 2016-09

“There was a paper a few months back in deep reinforcement learning that got record setting RL results using only a CPU [0].”

提到这篇只用 CPU 就拿到创纪录 RL 结果的论文
BlazingDB uses GPUs to manipulate huge databases in no time原评论 ↗
引用Hydraulix989 · 2016-12

“What is state of the art in reinforcement learning right now?”

回答 RL 当前水平时指出异步深度 RL 方法可能是 SOTA
OpenAI Universe原评论 ↗
引用shpx · 2017-03

“Asynchronous advantage actor critic (A3C) Asynchronous Methods for Deep Reinforcement Learning”

介绍 A3C 作为 ES 速度对比的基线
Evolution Strategies as a Scalable Alternative to Reinforcement Learning原评论 ↗
看全部 7 条 →
引用dsptri · 2017-12

“This is known as Asynchronous Advantage Actor-Critic (A3C) and is a highly cited method discovered by the DeepMind team [1].”

解释 A3C 是 DeepMind 提出的高引用方法
Is AlphaZero really a breakthrough in AI?原评论 ↗
被提交为 story · 4 次