按年被提到
20182018 · 7 次2026
强化学习与智能体›进化策略与探索·arXiv:1803.07055 · cs.LG

Simple random search provides a competitive approach to reinforcement learning

简单随机搜索为强化学习提供了有竞争力的方法
Horia Mania, Aurelia Guy, Benjamin Recht · 2018

对线性策略做参数空间随机搜索,在 MuJoCo 上媲美最先进强化学习

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 9 人首次 2018-03-20 · 最近 2022-06-09
9不同的人
6活跃月份
9讨论串
210被引(OpenAlex)

论文挑战“参数空间随机搜索的样本复杂度明显差于动作空间探索”这一常见看法,提出训练静态线性策略的随机搜索方法,在 MuJoCo 运动任务基准上达到最先进的样本效率。该方法还能在动力学未知时为有挑战的线性二次调节器(LQR)实例找到近乎最优的控制器,且计算效率至少比最快的竞争无模型方法高 15 倍;基于此作者在数百个随机种子上评估,发现性能方差很大,说明常用的样本效率估计并不能充分评估 RL 算法。

HN 为什么提它

HN 上的人拿它作为随机搜索类的黑盒优化(如 ARS、CMA-ES)可以与深度强化学习竞争的例子来讨论,同时有人从算法角度觉得这样的资源使用很令人失望。

实证研究难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1强化学习基础(策略与回报)
2策略梯度方法
3黑盒优化与随机搜索
4线性二次调节器(LQR)与控制理论

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先建立深度强化学习中基于策略梯度与信赖域的主线,再看进化策略这类参数空间搜索,最后理解 ARS 为何敢和这些方法比样本效率。

  1. 1
    Playing Atari with Deep Reinforcement Learning用深度强化学习玩 Atari 游戏 · 2013

    深度 RL 的起点,ARS 要对比的 model-free 基线都从这里发展而来。

    读Q 学习加卷积网络的基本框架,以及 Atari 上的评测方式;不必细究网络结构。

  2. 2

    TRPO 是 ARS 在 MuJoCo 上对比的策略梯度基线之一。

    读单调改进的信赖域约束思路;梯度步长为何要受限。

  3. 3
    Continuous control with deep reinforcement learning用深度强化学习做连续控制 · 2015

    DDPG 是连续控制任务上的另一类 actor-critic 基线。

    读确定性策略梯度加 replay buffer 的组合;它在 MuJoCo 上的表现。

  4. 4
    Asynchronous Methods for Deep Reinforcement Learning深度强化学习的异步方法 · 2016

    A3C 属于对动作空间探索的方法,正是 ARS 要挑战的对象。

    读异步 actor-learner 的设计与 advantage 估计;对照 ARS 的参数空间探索。

  5. 5

    进化策略同样在参数空间做搜索,是 ARS 最直接的前身。

    读用高斯扰动估计梯度的做法,以及并行扩展性;ARS 的改动都以它为对照。

  6. 6
    Deep Reinforcement Learning that Matters真正重要的深度强化学习 · 2017

    说明 RL 结果对随机种子和实现细节很敏感,帮助读懂 ARS 为何强调多随机种子评测。

    读关于随机种子方差与超参敏感性的实验部分。

  7. 7
    Simple random search provides a competitive approach to reinforcement learning简单随机搜索为强化学习提供了有竞争力的方法 · 2018 · 就是这篇

    目标论文:用线性策略加简单随机搜索,在 MuJoCo 上匹敌最先进方法。

    读ARS 算法本身,对输入状态做归一化,以及只用最优方向更新这些改动;再看 LQR 的实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评naturalgradient · 2018-06

“I find this quite disappointing from an algorithmic perspective.”

批评它在算法上令人失望,在策略空间随机搜索,资源消耗荒谬
OpenAI Five原评论 ↗
引用rademacher · 2018-11

“can someone in the field comment on this paper, Simple random search provides a competitive approach to reinforcement learning [1].”

请领域内的人评论这篇论文,简单随机搜索能否在 RL 上有竞争力
Key Papers in Deep Reinforcement Learning原评论 ↗
引用erwincoumans · 2022-06

“Black box optimization such as CMA-ES or Augmented Random Search (ars) are used by researchers, for example:”

举 CMA-ES 和 Augmented Random Search 为研究者使用的黑盒优化例子
Techniques for Training Large Neural Networks原评论 ↗
被提交为 story · 6 次