按年被提到
20172017 · 4 次2026
强化学习与智能体›博弈与游戏 AI·arXiv:1712.01815 · cs.AI

Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm

用通用强化学习算法通过自我对弈精通国际象棋和将棋(AlphaZero)
David Silver, Thomas Hubert, Julian Schrittwieser, Ioannis Antonoglou, Matthew Lai, Arthur Guez, Marc Lanctot, Laurent Sifre, Dharshan Kumaran, Thore Graepel, Timothy Lillicrap, Karen Simonyan 等 13 人 · 2017

AlphaZero:同一套自我对弈强化学习,24 小时内称霸国际象棋、将棋和围棋

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 12 人首次 2017-12-06 · 最近 2025-05-03
12不同的人
8活跃月份
11讨论串
1,051被引(OpenAlex)

把 AlphaGo Zero 的自我对弈方法推广成单一的 AlphaZero 算法:从随机下法开始,除规则外不使用任何领域知识,在 24 小时内就在国际象棋、将棋和围棋上达到超人水平,并分别令人信服地击败了该项目的世界冠军程序。

HN 为什么提它

HN 上的人把它当作一套通用自我对弈强化学习即可掌握多种棋类的出处,常被拿来核对细节,例如与 Stockfish 的比赛设定、超参数调节和走法编码。

方法难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1强化学习(reinforcement learning)
2蒙特卡洛树搜索(MCTS)
3AlphaGo Zero 的自我对弈思路
4国际象棋引擎的 alpha-beta 搜索

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

从深度 RL 起点 DQN 出发,看用 CNN 评估围棋着法、神经网络下棋的早期尝试,以及神经网络加树搜索的专家迭代思想,最后读 AlphaZero。

  1. 1
    Playing Atari with Deep Reinforcement Learning用深度强化学习玩 Atari 游戏 · 2013

    深度 RL 的基础,AlphaZero 的价值学习建立在这类思想之上。

    读Q 学习和用卷积网络处理原始输入的设定。

  2. 2
    Move Evaluation in Go Using Deep Convolutional Neural Networks用深度卷积神经网络评估围棋着法 · 2014

    用深度 CNN 评估围棋着法,是神经网络进入围棋的早期工作,对应 AlphaZero 的策略网络。

    读把棋盘当图像、预测下一手的思路。

  3. 3
    Teaching Deep Convolutional Neural Networks to Play Go教深度卷积神经网络下围棋 · 2014

    同期用卷积网络预测专家落子,不用搜索也有不错水平,说明策略网络的价值。

    读监督学习预测专家着法,以及它与树搜索结合的动机。

  4. 4
    Giraffe: Using Deep Reinforcement Learning to Play ChessGiraffe:用深度强化学习下国际象棋 · 2015

    Giraffe 用自我对弈训练评估函数下国际象棋,与 AlphaZero 的方向一致但更朴素。

    读神经网络评估函数加自我对弈的训练流程,对比 AlphaZero 的通用性。

  5. 5

    专家迭代:用树搜索产生训练目标来改进神经网络,AlphaZero 的训练循环同理。

    读搜索作为专家、网络作为学徒的迭代结构。

  6. 6
    Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm用通用强化学习算法通过自我对弈精通国际象棋和将棋(AlphaZero) · 2017 · 就是这篇

    目标论文:用同一套自我对弈强化学习,通用地学会国际象棋、将棋和围棋。

    读网络加 MCTS 的自我对弈循环、训练目标和与 AlphaGo Zero 的差别、与传统引擎的比较。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐beefman · 2017-12

“Silver et al - Mastering Chess and Shogi [4]”

推荐 AlphaZero 论文,一个自我对弈 RL 算法精通国际象棋和将棋
Ask HN: What was the best CS paper you read in 2017?原评论 ↗
推荐dargscisyhp · 2023-07

“I thought the AlphaZero paper was pretty cool: Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm”

觉得 AlphaZero 论文很酷,附上链接
Ask HN: Which recently research paper blow your mind?原评论 ↗
引用bfirsh · 2017-12

“Here's an HTML version of the paper:”

提供这篇论文的 HTML 版本链接
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning原评论 ↗
引用vatueil · 2017-12

“while it doesn't explicitly state whether Stockfish was allowed to use them in the tests”

指出论文没有明确说明测试中 Stockfish 能否使用开局库
Is AlphaZero really a breakthrough in AI?原评论 ↗
引用nealeratzlaff · 2018-01

“AlphaZero tackled structured games with a single algorithm [1].”

拿它说明 AlphaZero 用单一算法攻克结构化游戏
AI and Deep Learning in 2017 – A Year in Review原评论 ↗
引用yorwba · 2018-02

“The paper Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm doesn't go into detail about hyperparameter tuning, but does say that they used Bayesian optimization.”

指出论文没细讲超参数调优,但提到用了贝叶斯优化
Lessons from Optics, the Other Deep Learning原评论 ↗
看全部 11 条 →
引用YeGoblynQueenne · 2018-02

“The information you want is on page 13, last paragraph.”

指出所要的信息在论文第 13 页最后一段,涉及棋盘和走法编码
Likelihood of discontinuous progress around the development of AGI原评论 ↗
引用tim333 · 2018-05

“The results were published - Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm”

指出 AlphaZero 的国际象棋结果已经发表
AI winter is well on its way原评论 ↗
引用tastroder · 2019-11

“the abstract of the AlphaZero paper [0] seems to disagree about your /any prior knowledge/ point:”

用 AlphaZero 摘要反驳对方关于“任何先验知识”的说法
John Carmack: I’m going to work on artificial general intelligence原评论 ↗
引用SideQuark · 2023-02

“The paper: Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm”

引用它作为论据,说明 AlphaZero 的损失在训练中会变化
Poisoning Web-Scale Training Datasets Is Practical原评论 ↗
引用dmurray · 2025-05

“By contrast, the AlphaGo [0] AlphaZero [1] and AlphaStar [2] papers claim "mastery", "superhuman", "world champion level", "Grandmaster-level", "human professional" ability - all defensible claims given their performance and match conditions in the respective games.”

把它与 AlphaGo、AlphaStar 并列,说明其“精通”等说法有据可依
Achieving Human Level Competitive Robot Table Tennis原评论 ↗
被提交为 story · 1 次