按年被提到
20192019 · 9 次2026
强化学习与智能体›博弈与游戏 AI·arXiv:1911.08265 · cs.LG

Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model

通过学习模型进行规划,精通 Atari、围棋、国际象棋和将棋(MuZero)
Julian Schrittwieser, Ioannis Antonoglou, Thomas Hubert, Karen Simonyan, Laurent Sifre, Simon Schmitt, Arthur Guez, Edward Lockhart, Demis Hassabis, Thore Graepel, Timothy Lillicrap, David Silver · 2019

MuZero:不知规则,靠学到的模型做树搜索,达到超人水平

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 17 人首次 2019-11-20 · 最近 2025-09-02
17不同的人
9活跃月份
15讨论串
1,720被引(OpenAlex)

提出 MuZero,把树搜索与学习得到的环境模型结合:模型只预测与规划最相关的三个量——奖励、动作选择策略和价值函数。它在 57 款 Atari 游戏上刷新了当时的最好成绩,在围棋、国际象棋和将棋上不依赖任何规则知识,也追平了被告知规则的 AlphaZero。

HN 为什么提它

HN 上的人把它当作「学到的世界模型 + 规划」的代表例子,强调它不需要游戏规则也能追平 AlphaZero,并有人推荐其伪代码用来自己实现。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1强化学习(reinforcement learning)
2蒙特卡洛树搜索(MCTS)
3AlphaZero / AlphaGo 的基本思路
4价值函数与策略网络

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

从 DQN 与异步 / 分布式深度 RL 入手,再看残差网络(MuZero 的网络骨干)和基于模型的 Atari 方法,最后读 MuZero 如何用学到的模型做树搜索。

  1. 1
    Playing Atari with Deep Reinforcement Learning用深度强化学习玩 Atari 游戏 · 2013

    MuZero 在 Atari 上的评测与深度 RL 的价值学习起点,必须先懂。

    读Q 学习与经验回放;理解从像素输入学习价值函数的设定。

  2. 2
    Asynchronous Methods for Deep Reinforcement Learning深度强化学习的异步方法 · 2016

    A3C 属于 actor-critic 家族,MuZero 的策略与价值预测头沿用这类思想。

    读actor-critic 的优势函数和异步更新的基本想法;跳过实现细节。

  3. 3
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    MuZero 的表示、动力学函数都是残差卷积网络。

    读残差块的结构与为什么能训练深层网络。

  4. 4
    Identity Mappings in Deep Residual Networks深度残差网络中的恒等映射 · 2016

    MuZero 的网络采用预激活的残差块,这篇分析了恒等跳连的好处。

    读预激活残差单元的设计;一读即可。

  5. 5
    IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner ArchitecturesIMPALA:基于重要性加权 Actor-Learner 架构的可扩展分布式深度强化学习 · 2018

    MuZero 的 Atari 大规模并行训练使用了类似的分布式 actor-learner 思路,并涉及离策略修正。

    读actor-learner 分离架构与 V-trace 的作用。

  6. 6
    Model-Based Reinforcement Learning for Atari面向 Atari 的基于模型的强化学习 · 2019

    SimPLe 是 Atari 上基于模型强化学习的代表,对比 MuZero 才看出学习模型但不重建像素的意义。

    读视频预测式世界模型的做法与样本效率结论;对照 MuZero 只预测价值、策略、奖励。

  7. 7
    Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model通过学习模型进行规划,精通 Atari、围棋、国际象棋和将棋(MuZero) · 2019 · 就是这篇

    目标论文:把学到的隐空间模型与树搜索结合,无需规则即可规划。

    读表示、动力学、预测三个函数以及 MCTS 如何使用它们;训练目标的展开(unroll)方式。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐swframe2 · 2019-11

“Check out MuZero. It learns an embedding of the game's state space potentially allowing AlphaGo like dominance in more ways.”

推荐 MuZero,它学习状态嵌入,可能把 AlphaGo 式优势推广更多
Go master Lee Se-dol says he quits, unable to win over AI Go players原评论 ↗
推荐not-my-account · 2023-07

“totally! MuZero is my favourite[1]”

最爱 MuZero,它自己学习游戏动态,能超出给定规则泛化
Ask HN: Which recently research paper blow your mind?原评论 ↗
引用gok · 2019-11

“In Go, MuZero slightly exceeded the performance of AlphaZero, despite using less computation per node in the search tree”

指出 MuZero 在围棋上略胜 AlphaZero,且每节点计算更少
DeepMind's MuZero teaches itself how to win at Atari, chess, shogi, and Go原评论 ↗
引用nmca · 2019-11

“"incorporating a world model" has been going well recently:”

举例说明引入 world model 近来进展顺利
The revolution of machine learning has been exaggerated原评论 ↗
引用darkmighty · 2019-11

“This line is also very active right now, one example is the recent MuZero.”

把 MuZero 作为这一活跃方向的近期例子,无需已知规则就能规划
AI is mostly about curve fitting (2018)原评论 ↗
引用davidhowlett · 2019-11

“the closest thing I have seen to learned planning is:”

称这是自己见过最接近“学习式规划”的工作
AI is mostly about curve fitting (2018)原评论 ↗
看全部 14 条 →
引用ta_tunestub · 2019-11

“this paper includes some pseudocode that implements the algorithm:”

指出论文附有伪代码,可据此自己实现算法
DeepMind's MuZero teaches itself how to win at Atari, chess, shogi, and Go原评论 ↗
引用johnmoberg · 2019-12

“e.g., MuZero[1] which doesn't even use a model.”

以 MuZero 为例,说明它甚至不依赖给定的环境模型
Minecraft diamond challenge leaves AI creators stumped原评论 ↗
引用YeGoblynQueenne · 2020-07

“But it retains MCTS.”

指出它仍然保留了 MCTS
The Bitter Lesson (2019)原评论 ↗
引用RiversHaveWings · 2020-08

“After AlphaZero, DeepMind went on to develop MuZero ([LINK], paper: Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model)”

介绍 AlphaZero 之后 DeepMind 推出 MuZero,不需游戏规则
AI slays top F-16 pilot in DARPA dogfight simulation原评论 ↗
引用ignoranceprior · 2020-12

“This is explained in Appendix A of the paper ("Comparison to AlphaZero"): Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model”

指向论文附录 A 对 AlphaZero 的比较来解释差异
MuZero: Mastering Go, chess, shogi and Atari without rules原评论 ↗
引用sinenomine · 2022-06

“To a discerning eye this pattern looks like stronger minds implementing higher quality tree search[1], either through implementing higher quality neural search heuristics for tree pruning or via greater search depth.”

借 MuZero 说明更强的智能体体现为更高质量的树搜索
10x (engineer, context) pairs原评论 ↗
引用notacat · 2023-07

“I am personally interested in LLM's, MuZero, Dreamer ([OTHER_PAPER]) and DreamCoder ([OTHER_PAPER])”

招聘帖里把 MuZero 列为个人感兴趣的研究方向
Ask HN: Who is hiring? (July 2023)原评论 ↗
引用hulium · 2025-09

“MuZero only masks legal actions at the root of the search tree where the environment can be queried, but does not perform any masking within the search tree.”

说明 MuZero 只在搜索树根节点屏蔽非法动作,树内不做屏蔽
'World Models,' an old idea in AI, mount a comeback原评论 ↗
被提交为 story · 3 次