按年被提到
20182018 · 2 次2026
强化学习与智能体›进化策略与探索·arXiv:1806.09460 · math.OC

A Tour of Reinforcement Learning: The View from Continuous Control

强化学习之旅:连续控制的视角
Benjamin Recht · 2018

从最优化与控制视角,以 LQR 为例综述强化学习

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2018-07-22 · 最近 2021-01-10发表于 Annual Review of Control Robotics and Autonomous Systems
4不同的人
3活跃月份
4讨论串
614被引(OpenAlex)

这篇综述从优化与控制的视角审视强化学习,重点放在连续控制应用,介绍其一般表述、术语、典型实验实现以及各种相互竞争的解法。作者以动力学未知的线性二次调节器(LQR)为案例比较各方法,说明学习理论与控制理论结合可给出与实验相符的非渐近性能刻画,并指出模型的作用和通用性的代价,最后讨论如何让学习系统在复杂不确定环境中安全可靠地运行。

HN 为什么提它

评论者向想看强化学习与经典控制理论联系的人推荐它,称它是 Ben Recht 博客系列的总结,主张强化学习应更多借鉴经典连续控制。

综述难度 4 / 5约 90 分钟经得起时间
读之前最好知道
1强化学习基础(马尔可夫决策过程 MDP)
2最优控制与线性二次调节器(LQR)
3线性代数与优化基础
4统计学习理论基础

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你建立深度强化学习各类方法、无模型简单基线以及评测可复现性的背景,再从控制视角读这篇综述。

  1. 1
    Playing Atari with Deep Reinforcement Learning用深度强化学习玩 Atari 游戏 · 2013

    深度 RL 的起点,综述里讨论的价值方法之一。

    读抓 Q 学习加卷积网络、经验回放。

  2. 2
    Continuous control with deep reinforcement learning用深度强化学习做连续控制 · 2015

    把 DQN 推到连续动作,是综述中连续控制的主要深度 RL 算法之一。

    读读 actor-critic 与确定性策略梯度的设定。

  3. 3
    Asynchronous Methods for Deep Reinforcement Learning深度强化学习的异步方法 · 2016

    异步 actor-learner 的策略梯度类方法,是常见的基准算法。

    读抓 A3C 的异步并行与优势函数的使用。

  4. 4

    进化策略是不用梯度的无模型替代方案,和综述里的随机搜索一类。

    读读它如何用参数扰动估计梯度并大规模并行。

  5. 5
    Simple random search provides a competitive approach to reinforcement learning简单随机搜索为强化学习提供了有竞争力的方法 · 2018

    用线性策略加随机搜索就能媲美深度 RL,正是综述论证的对照例子。

    读读增强随机搜索(ARS)的算法和与 MuJoCo 基准上的比较。

  6. 6
    Deep Reinforcement Learning that Matters真正重要的深度强化学习 · 2017

    指出深度 RL 结果对超参数和随机种子敏感、难以复现,对应综述对样本效率与评测的批评。

    读读关于超参数、种子和算法实现的敏感性实验。

  7. 7
    A Tour of Reinforcement Learning: The View from Continuous Control强化学习之旅:连续控制的视角 · 2018 · 就是这篇

    以最简单的 LQR 为例,从最优化和控制视角综述 RL。

    读重点读 LQR 与未知动力学的设定,以及模型方法与无模型方法的比较。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐johnmoberg · 2018-07

“Ben's blog series culminated in a nice article[1] touring reinforcement learning.”

推荐 Ben Recht 这篇 RL 综述,可能回应上文的顾虑
Evolutionary algorithm outperforms deep-learning machines at video games原评论 ↗
推荐rocketflumes · 2018-07

“check out this recent RL and OCT survey by Ben Recht, also from UC Berkeley:”

推荐 Ben Recht 这篇联系 RL 与最优控制的综述
An Introduction to Mathematical Optimal Control Theory [pdf]原评论 ↗
推荐currymj · 2019-02

“You may enjoy the article, "A Tour of Reinforcement Learning: The View from Continuous Control"”

推荐它,主张 RL 应更多关注经典连续控制
Reinforcement Learning: An Introduction (2018) [pdf]原评论 ↗
推荐jamessb · 2021-01

“the survey paper "A Tour of Reinforcement Learning: The View from Continuous Control" [2] may be of interest.”

推荐这篇从连续控制视角看 RL 的综述
Algorithms for Decision Making原评论 ↗