按年被提到
20212021 · 2 次2026
机器学习与深度学习›训练加速与低精度计算·arXiv:2101.06840 · cs.DC

ZeRO-Offload: Democratizing Billion-Scale Model Training

ZeRO-Offload:让十亿级模型训练大众化
Jie Ren, Samyam Rajbhandari, Reza Yazdani Aminabadi, Olatunji Ruwase, Shuangyan Yang, Minjia Zhang, Dong Li, Yuxiong He · 2021

把数据与计算卸载到 CPU,单张 GPU 即可训练百亿参数模型

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2021-02-03 · 最近 2023-10-10
3不同的人
3活跃月份
3讨论串
179被引(OpenAlex)

ZeRO-Offload 通过把数据和计算卸载到 CPU 来实现大模型训练,不需要数据科学家修改模型。为保持计算效率,它尽量减少 GPU 与 CPU 之间的数据搬运、缩短 CPU 计算时间,同时最大化 GPU 内存节省。它能在单张 GPU 上训练 130 亿参数以上的模型,比 PyTorch 等主流框架的规模大 10 倍;在单张 V100 上训练 100 亿参数模型可达 40 TFlops,而仅用 PyTorch 训练内存不爆的最大模型(14 亿参数)是 30 TF。多 GPU 时在至多 128 张 GPU 上可近线性加速,并可与模型并行结合,在单台 DGX-2 上训练 700 亿参数以上的模型。

HN 为什么提它

HN 评论者引用它来了解训练流水线中卸载到 CPU 的细节,以及它与 PipeDream-2BW 一样表明延迟一步的异步梯度更新不影响收敛。

方法难度 4 / 5约 40 分钟有时效性
读之前最好知道
1深度学习训练流程与显存占用
2数据并行与模型并行
3ZeRO 优化器状态切分
4GPU/CPU 内存与带宽

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看大模型为何要扩展、并行训练与流水线并行的做法,再读用 CPU 卸载在单卡上训练大模型的 ZeRO-Offload。

  1. 1
    One weird trick for parallelizing convolutional neural networks并行化卷积神经网络的一个古怪窍门 · 2014

    介绍数据并行与模型并行的混合,是理解多 GPU 训练切分的起点。

    读卷积层用数据并行、全连接层用模型并行的区别。

  2. 2
    GPipe: Efficient Training of Giant Neural Networks using Pipeline ParallelismGPipe:用流水线并行高效训练巨型神经网络 · 2018

    流水线并行是训练巨型模型的另一条路径,与 ZeRO 的显存切分形成对照。

    读微批次流水线与重计算(再物化)省显存的思路。

  3. 3
    Scaling Laws for Neural Language Models神经语言模型的缩放定律 · 2020

    说明模型规模越大效果越好,解释为什么要在有限硬件上训练更大模型。

    读损失与参数、数据、算力的幂律关系。

  4. 4
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    GPT-3 是推动百亿以上模型训练需求的典型例子。

    读模型规模与训练资源的规模,不必读评测部分。

  5. 5

    同样关注在有限显存下训练大网络,与卸载到 CPU 的思路相近。

    读逐层执行与常量显存的做法,对比 ZeRO-Offload。

  6. 6
    ZeRO-Offload: Democratizing Billion-Scale Model TrainingZeRO-Offload:让十亿级模型训练大众化 · 2021 · 就是这篇

    目标论文:把数据和计算卸载到 CPU,让单张 GPU 训练百亿参数模型。

    读哪些数据与计算放到 CPU,以及如何隐藏通信开销。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用BadInformatics · 2021-03

“The ZeRO-Offload paper [3] also has far more detail about that part of the pipeline.”

指出 ZeRO-Offload 论文对这部分流水线有更详细的说明
Zero-3 Offload: Scale DL models to trillion parameters without code changes原评论 ↗
引用sighingnow · 2023-10

“The pipedream-2bw paper[1] and the zero-offload paper[2] both show that 1-step delayed asynchronous gradient update doesn't affect the convergence”

与 pipedream-2bw 一起引用,说明延迟一步的异步梯度更新不影响收敛
Why async gradient update doesn't get popular in LLM community?原评论 ↗
被提交为 story · 1 次