按年被提到
20192019 · 2 次2026
强化学习与智能体›博弈与游戏 AI·arXiv:1902.10565 · cs.LG

Accelerating Self-Play Learning in Go

加速围棋中的自我对弈学习
David J. Wu · 2019

KataGo:用多项改进把围棋自我对弈算力降低约 50 倍

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2019-11-22 · 最近 2022-11-03
5不同的人
4活跃月份
5讨论串
76被引(OpenAlex)

论文对 AlphaZero 的流程和架构引入多项改进,使围棋自我对弈学习的计算量比可比方法降低 50 倍。KataGo 同样只靠神经网络引导的蒙特卡洛树搜索自我对弈学习;AlphaZero 需要数千个 TPU 数日,ELF 需要数千个 GPU 两周,而 KataGo 只用不到 30 个 GPU、19 天就超过 ELF 的最终模型。大部分加速来自可迁移到其他问题的非领域特定改进,其余领域特定技巧则显示了与纯通用方法之间仍存在的效率差距。

HN 为什么提它

评论者把它作为用远少于 AlphaZero 的资源达到强棋力的开源范例,并引用其中的训练技巧(如 playout cap randomization、渐进式棋盘课程)和所用规则。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1AlphaZero 与蒙特卡洛树搜索(MCTS)
2深度强化学习与自我对弈
3卷积神经网络
4围棋基本规则

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我建立围棋神经网络的背景:监督学习的落子预测、残差网络,以及 AlphaZero 的开源复现,再读 KataGo 做了哪些加速改进。

  1. 1
    Teaching Deep Convolutional Neural Networks to Play Go教深度卷积神经网络下围棋 · 2014

    最早用卷积网络预测围棋落子之一,说明为何棋盘适合用 CNN 处理。

    读抓棋盘特征的输入表示与监督学习预测落子的做法。

  2. 2
    Move Evaluation in Go Using Deep Convolutional Neural Networks用深度卷积神经网络评估围棋着法 · 2014

    12 层 CNN 的围棋着法评估,是后续 AlphaGo 一类策略网络的前身。

    读抓网络结构、输入特征与它不借助搜索就达到的水平。

  3. 3
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    AlphaZero 一类程序及 KataGo 的主干网络都是残差网络。

    读抓残差块的结构;理解为什么深网络更易训练。

  4. 4
    Identity Mappings in Deep Residual Networks深度残差网络中的恒等映射 · 2016

    预激活残差单元是 KataGo 残差块设计的参考。

    读抓 BN-ReLU-Conv 的预激活顺序与恒等映射的信号传播分析。

  5. 5
    ELF OpenGo: An Analysis and Open Reimplementation of AlphaZeroELF OpenGo:对 AlphaZero 的分析与开源复现 · 2019

    ELF OpenGo 是 AlphaZero 的开源复现,KataGo 以它为算力对比基准。

    读抓复现所需的算力、训练设置,以及消融分析里发现的问题。

  6. 6
    Accelerating Self-Play Learning in Go加速围棋中的自我对弈学习 · 2019 · 就是这篇

    目标论文:在 AlphaZero 流程上做多项改进,把自我对弈算力降低约 50 倍。

    读抓各项改进(辅助目标、全局池化、游戏变体随机化、策略目标剪枝等)及各自带来的加速。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐cgreerrun · 2020-06

“check out David Wu's work”

推荐看 David Wu 的工作,其 playout cap randomization 能加速自我对弈训练
Fast implementation of DeepMind's AlphaZero algorithm in Julia原评论 ↗
引用codehotter · 2019-11

“Recently, Katago has reached similar levels of strength using a small fraction of the resources: Accelerating Self-Play Learning in Go”

指出 KataGo 用小得多的资源就达到了相近棋力
DeepMind's MuZero teaches itself how to win at Atari, chess, shogi, and Go原评论 ↗
引用gwern · 2019-12

“progressive growing/curriculum training in fact seems to accelerate training”

拿它说明渐进增长的课程式训练确实能加速训练
An Epidemic of AI Misinformation原评论 ↗
引用jedharris · 2020-06

“Arxiv paper on KataGo design: Accelerating Self-Play Learning in Go”

贴出 KataGo 设计的 arXiv 论文
Much More Efficient Self-Play Learning in Go原评论 ↗
引用carry_bit · 2022-11

“According to the KataGo paper [2], KataGo is trained using modified Tromp-Taylor rules”

引用 KataGo 论文,说明其训练采用修改版 Tromp-Taylor 规则
Adversarial Policies Beat Professional-Level Go AIs原评论 ↗