“The ZeRO-Offload paper [3] also has far more detail about that part of the pipeline.”
ZeRO-Offload: Democratizing Billion-Scale Model Training
把数据与计算卸载到 CPU,单张 GPU 即可训练百亿参数模型
ZeRO-Offload 通过把数据和计算卸载到 CPU 来实现大模型训练,不需要数据科学家修改模型。为保持计算效率,它尽量减少 GPU 与 CPU 之间的数据搬运、缩短 CPU 计算时间,同时最大化 GPU 内存节省。它能在单张 GPU 上训练 130 亿参数以上的模型,比 PyTorch 等主流框架的规模大 10 倍;在单张 V100 上训练 100 亿参数模型可达 40 TFlops,而仅用 PyTorch 训练内存不爆的最大模型(14 亿参数)是 30 TF。多 GPU 时在至多 128 张 GPU 上可近线性加速,并可与模型并行结合,在单台 DGX-2 上训练 700 亿参数以上的模型。
HN 评论者引用它来了解训练流水线中卸载到 CPU 的细节,以及它与 PipeDream-2BW 一样表明延迟一步的异步梯度更新不影响收敛。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先看大模型为何要扩展、并行训练与流水线并行的做法,再读用 CPU 卸载在单卡上训练大模型的 ZeRO-Offload。
- 1
介绍数据并行与模型并行的混合,是理解多 GPU 训练切分的起点。
读卷积层用数据并行、全连接层用模型并行的区别。
- 2
流水线并行是训练巨型模型的另一条路径,与 ZeRO 的显存切分形成对照。
读微批次流水线与重计算(再物化)省显存的思路。
- 3
- 4
- 5
同样关注在有限显存下训练大网络,与卸载到 CPU 的思路相近。
读逐层执行与常量显存的做法,对比 ZeRO-Offload。
- 6ZeRO-Offload: Democratizing Billion-Scale Model Training
目标论文:把数据和计算卸载到 CPU,让单张 GPU 训练百亿参数模型。
读哪些数据与计算放到 CPU,以及如何隐藏通信开销。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“The pipedream-2bw paper[1] and the zero-offload paper[2] both show that 1-step delayed asynchronous gradient update doesn't affect the convergence”
- Zero-Offload: Democratizing Billion-Scale Model Training ↗coolspot · 2021-02-03 · 1 分