“I find this quite disappointing from an algorithmic perspective.”
Simple random search provides a competitive approach to reinforcement learning
对线性策略做参数空间随机搜索,在 MuJoCo 上媲美最先进强化学习
论文挑战“参数空间随机搜索的样本复杂度明显差于动作空间探索”这一常见看法,提出训练静态线性策略的随机搜索方法,在 MuJoCo 运动任务基准上达到最先进的样本效率。该方法还能在动力学未知时为有挑战的线性二次调节器(LQR)实例找到近乎最优的控制器,且计算效率至少比最快的竞争无模型方法高 15 倍;基于此作者在数百个随机种子上评估,发现性能方差很大,说明常用的样本效率估计并不能充分评估 RL 算法。
HN 上的人拿它作为随机搜索类的黑盒优化(如 ARS、CMA-ES)可以与深度强化学习竞争的例子来讨论,同时有人从算法角度觉得这样的资源使用很令人失望。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先建立深度强化学习中基于策略梯度与信赖域的主线,再看进化策略这类参数空间搜索,最后理解 ARS 为何敢和这些方法比样本效率。
- 1
深度 RL 的起点,ARS 要对比的 model-free 基线都从这里发展而来。
读Q 学习加卷积网络的基本框架,以及 Atari 上的评测方式;不必细究网络结构。
- 2
- 3
DDPG 是连续控制任务上的另一类 actor-critic 基线。
读确定性策略梯度加 replay buffer 的组合;它在 MuJoCo 上的表现。
- 4
A3C 属于对动作空间探索的方法,正是 ARS 要挑战的对象。
读异步 actor-learner 的设计与 advantage 估计;对照 ARS 的参数空间探索。
- 5
进化策略同样在参数空间做搜索,是 ARS 最直接的前身。
读用高斯扰动估计梯度的做法,以及并行扩展性;ARS 的改动都以它为对照。
- 6
说明 RL 结果对随机种子和实现细节很敏感,帮助读懂 ARS 为何强调多随机种子评测。
读关于随机种子方差与超参敏感性的实验部分。
- 7Simple random search provides a competitive approach to reinforcement learning
目标论文:用线性策略加简单随机搜索,在 MuJoCo 上匹敌最先进方法。
读ARS 算法本身,对输入状态做归一化,以及只用最优方向更新这些改动;再看 LQR 的实验。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“can someone in the field comment on this paper, Simple random search provides a competitive approach to reinforcement learning [1].”
“Black box optimization such as CMA-ES or Augmented Random Search (ars) are used by researchers, for example:”
- Simple random search provides a competitive approach to reinforcement learning ↗alephone · 2018-03-20 · 8 分
- Simple random search provides a competitive approach to reinforcement learning ↗obastani · 2018-03-20 · 3 分
- Simple Random Search provides a competitive approach to RL ↗vrm · 2018-03-21 · 2 分
- Simple random search provides a competitive approach to reinforcement learning ↗LolWolf · 2018-04-13 · 1 分
- Simple random search provides a competitive approach to reinforcement learning ↗jonbaer · 2018-06-25 · 1 分
- Simple random search provides a competitive approach to reinforcement learning ↗henning · 2019-08-24 · 1 分