按年被提到
20202020 · 4 次2026
大模型与语言模型›混合专家与高效训练·arXiv:2006.16668 · cs.CL

GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding

GShard:用条件计算与自动分片扩展巨型模型
Dmitry Lepikhin, HyoukJoong Lee, Yuanzhong Xu, Dehao Chen, Orhan Firat, Yanping Huang, Maxim Krikun, Noam Shazeer, Zhifeng Chen · 2020

标注 API 加 XLA 扩展,自动分片训练超 6000 亿参数的 MoE 翻译模型

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2020-07-01 · 最近 2023-12-06发表于 International Conference on Learning Representations
6不同的人
3活跃月份
6讨论串
747被引(OpenAlex)

GShard 由一组轻量标注 API 和对 XLA 编译器的扩展组成,只需极少改动现有模型代码就能表达各种并行计算模式。作者借此把带稀疏门控专家混合(Sparsely-Gated MoE)的多语言翻译 Transformer 扩展到超过 6000 亿参数,在 2048 块 TPU v3 上 4 天训练完成,100 种语言到英语的翻译质量远超此前水平。

HN 为什么提它

评论者用它来说明谷歌早就训练过超过 6000 亿参数的翻译模型(对照 GPT-3 的 1750 亿),也借它讨论 MoE 与并行 API,并推测 GPT-4 未必有谷歌不知道的秘密。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1Transformer 架构
2混合专家(Mixture-of-Experts)
3数据并行与模型并行(分片)
4XLA 编译器与 TPU

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先建立 Transformer 与缩放定律的动机,再看 GPipe 和 Mesh-TensorFlow 这两种并行化前驱,最后读 GShard 如何用条件计算加自动分片扩展到超大模型。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    GShard 扩展的正是 Transformer,MoE 层替换其中的 FFN 层。

    读编码器-解码器结构与前馈子层;理解哪里可以换成专家层。

  2. 2
    Scaling Laws for Neural Language Models神经语言模型的缩放定律 · 2020

    说明为什么要把模型越做越大,是 GShard 的动机。

    读参数量、数据、算力与损失的幂律关系;不必细看拟合细节。

  3. 3
    GPipe: Efficient Training of Giant Neural Networks using Pipeline ParallelismGPipe:用流水线并行高效训练巨型神经网络 · 2018

    GShard 要对比并超越的另一种扩展方式:流水线并行。

    读按层切分、micro-batch 流水线与 bubble 开销的概念。

  4. 4

    先行的张量切分框架,GShard 的标注式分片思路与它相关。

    读如何把张量维度映射到计算资源网格;对比它与 GShard 的差别。

  5. 5
    GShard: Scaling Giant Models with Conditional Computation and Automatic ShardingGShard:用条件计算与自动分片扩展巨型模型 · 2020 · 就是这篇

    目标论文:条件计算(MoE)加自动分片,训练超 6000 亿参数的翻译模型。

    读稀疏门控 MoE 的路由与负载均衡;分片标注 API 与 XLA 编译器扩展。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用nschucher · 2020-07

“They trained a >600B parameter translation model (GPT-3 is 175B parameters).”

拿它与 GPT-3 的 175B 对比,指出已有 600B 以上参数的翻译模型
OpenAI's GPT-3 may be the biggest thing since Bitcoin原评论 ↗
引用Jinxu24 · 2021-12

“The contribution on parallel APIs is outlined clearly in the abstract of the paper:”

指出摘要里清楚写明了它在并行 API 方面的贡献
How to Go Beyond Data Parallelism and Model Parallelism: Starting from GShard原评论 ↗
引用quocanh · 2023-12

“If this is true, then there's a chance that there's no secret sauce to GPT4 that [Google doesn't already know about].”

拿它说明 Google 早有扩展巨型模型的研究,GPT4 未必有额外秘诀
Google's Gemini: MIT Technology Review原评论 ↗
被提交为 story · 3 次