“Apparently the "mastering" in 2022 wasn't quite there yet.”
Mastering the Game of Stratego with Model-Free Multiagent Reinforcement Learning
DeepNash 用 R-NaD 自博弈学会 Stratego,达到人类专家水平。
论文提出 DeepNash,一个从零开始自博弈学习不完全信息游戏 Stratego 的智能体,达到人类专家水平。它使用博弈论式的无模型深度强化学习、不做搜索,核心是 Regularised Nash Dynamics(R-NaD)算法,通过直接修改多智能体学习动力学,使策略收敛到近似纳什均衡而不是绕着它循环。DeepNash 击败现有最先进的 Stratego AI,并在 Gravon 平台取得 2022 年度和历史前三的排名。
评论者提到 R-NaD 在不做搜索的策略学习上“能用但对超参数很敏感、难以收敛”,也有人认为 2022 年所谓“精通”言过其实。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先理解不完全信息博弈里的自我对弈与扑克 AI,再看分布式 actor-learner 训练和残差网络骨干,最后读 DeepNash 如何用 R-NaD 在 Stratego 上达到专家水平。
- 1
NFSP 是不完全信息博弈中用深度强化学习自我对弈逼近纳什均衡的早期方法。
读抓住用强化学习和监督学习分别学最佳响应与平均策略的思路,理解为何目标是均衡而非最佳响应。
- 2
DeepStack 展示了不完全信息博弈(扑克)的专家级 AI,是 Stratego 要超越的对照思路。
读理解它用递归推理加深度网络估值的做法,对比 DeepNash 不做搜索的无模型路线。
- 3
DeepNash 的网络骨干使用残差结构,需要理解残差连接。
读只读残差块的思想,不用看 ImageNet 实验。
- 4
A3C 是 actor-critic 的并行训练基础,IMPALA 在它之上改进。
读理解 actor-critic 的基本形式和多个 actor 并行采样的想法。
- 5
DeepNash 的分布式训练框架基于 IMPALA 式的 actor-learner 架构与 V-trace 修正。
读抓住 actor 与 learner 解耦造成的策略滞后,以及 V-trace 的离策略修正概念。
- 6Mastering the Game of Stratego with Model-Free Multiagent Reinforcement Learning
目标论文:用无模型的 R-NaD 自我对弈学会 Stratego。
读看 Stratego 的不完全信息难点、R-NaD 算法的核心思想,以及与人类玩家对战的结果。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“For just policy learning without search, RNAD [2] works okayish from what I heard, but it is finicky with hyperparameters to get it to converge.”
- (typo in URL, ignore) ↗bumbledraven · 2022-07-01 · 6 分
- DeepMind: Mastering the Game of Stratego with Model-Free Multiagent RL ↗bumbledraven · 2022-07-01 · 3 分
- DeepNash: Mastering the Game of Stratego with Model-Free Multiagent RL ↗edouard-harris · 2022-07-01 · 2 分
- Mastering the Game of Stratego with Model-Free Multiagent Reinforcement Learning ↗ArtWomb · 2022-07-06 · 2 分
- Mastering the Game of Stratego with Model-Free Multiagent Reinforcement Learning ↗jonbaer · 2022-07-10 · 1 分
- Mastering the Game of Stratego with Model-Free Multiagent Reinforcement Learning ↗aklein · 2022-07-11 · 131 分