按年被提到
20182018 · 3 次2026
强化学习与智能体›深度强化学习与世界模型·arXiv:1802.01561 · cs.LG

IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures

IMPALA:基于重要性加权 Actor-Learner 架构的可扩展分布式深度强化学习
Lasse Espeholt, Hubert Soyer, Remi Munos, Karen Simonyan, Volodymir Mnih, Tom Ward, Yotam Doron, Vlad Firoiu, Tim Harley, Iain Dunning, Shane Legg, Koray Kavukcuoglu · 2018

IMPALA:用 V-trace 离策略修正扩展分布式强化学习

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2018-02-15 · 最近 2018-08-22
3不同的人
3活跃月份
3讨论串
851被引(OpenAlex)

论文目标是用一个参数集的单个强化学习智能体解决大量任务,关键挑战是处理增长的数据量和更长的训练时间。作者提出分布式智能体 IMPALA,结合解耦的行动与学习及名为 V-trace 的离策略修正方法,既能更高效利用单机资源,又能扩展到上千台机器而不牺牲数据效率。在 DMLab-30 和 Atari-57 上,它用更少数据取得比以往智能体更好的表现,并出现任务间的正迁移。

HN 为什么提它

HN 评论者称它是一项非常有意思的进展,并指出其表格中不少智能体完全不用 GPU,也把它列为 DeepMind 近期显著进步的论文之一。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1强化学习基础(策略梯度、Actor-Critic)
2离策略学习与重要性采样(importance sampling)
3分布式训练
4深度神经网络(CNN, LSTM)

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先看 DQN 开创的深度强化学习,再看异步并行训练的 A3C,最后读把演员与学习者解耦并加入离策略修正的 IMPALA。

  1. 1
    Playing Atari with Deep Reinforcement Learning用深度强化学习玩 Atari 游戏 · 2013

    深度强化学习的起点,理解目标论文所依据的价值学习与 Atari 环境。

    读DQN 的网络输入、经验回放和训练目标;实验结果可略读。

  2. 2
    Asynchronous Methods for Deep Reinforcement Learning深度强化学习的异步方法 · 2016

    A3C 是 IMPALA 直接对比与改进的分布式 actor-critic 方法。

    读异步 actor-learner 的运作方式,以及梯度由 actor 计算并异步更新的做法。

  3. 3
    IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner ArchitecturesIMPALA:基于重要性加权 Actor-Learner 架构的可扩展分布式深度强化学习 · 2018 · 就是这篇

    目标论文:actor 只采样、learner 集中学习,并用 V-trace 修正由此产生的离策略偏差。

    读解耦 acting 与 learning 带来的策略滞后,V-trace 的重要性权重修正,以及多任务实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐heyitsguay · 2018-08

“Very misleading title about a very interesting development!”

认为标题有误导性,但 IMPALA 是非常有意思的进展
Artificial General Intelligence Is Here, and Impala Is Its Name原评论 ↗
引用gwern · 2018-02

“Look at Table 1 pg5's computational resources for various agents: note how many of them have 0 GPUs whatsoever.”

指出其表 1 中许多智能体根本不用 GPU
Deep reinforcement learning doesn't work yet原评论 ↗
引用goolulusaurs · 2018-05

“Here are just a few papers I've been looking at from the last few months”

列为近几个月关注的 DeepMind 论文之一,进展显著
AI winter is well on its way原评论 ↗