“SOA on Imagenet [1], SOA for mobile [2].”
按年被提到
20182018 · 1 次2026
GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
GPipe:用流水线并行高效训练巨型神经网络
Yanping Huang, Youlong Cheng, Ankur Bapna, Orhan Firat, Mia Xu Chen, Dehao Chen, HyoukJoong Lee, Jiquan Ngiam, Quoc V. Le, Yonghui Wu, Zhifeng Chen · 2018
把网络按层切分并流水线化,在多块加速器上近线性扩展巨型模型
被提及 · 3 人首次 2018-11-22 · 最近 2026-07-07
3不同的人
3活跃月份
3讨论串
1,131被引(OpenAlex)
GPipe 是一个流水线并行库,可以把任何能表示为层序列的网络切成多段放在不同加速器上,并通过新颖的批次拆分流水线算法获得近乎线性的加速。论文展示了训练 5.57 亿参数的 AmoebaNet,在 ImageNet-2012 上达到 84.4% 的 top-1 精度,以及训练一个 60 亿参数、128 层、覆盖 100 多种语言的 Transformer,翻译质量优于所有双语模型。
HN 为什么提它
评论者既拿它当 ImageNet 当时最优结果的出处,也把它列进机器学习论文阅读清单,作为大模型并行训练的代表工作。
方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1深度神经网络训练基础
2模型并行与数据并行
3Transformer 架构
4GPU/TPU 加速器基础
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先了解数据并行、模型并行的传统做法,以及 GPipe 要扩展的那类大模型,再读流水线并行如何组合它们。
- 1
给出数据并行与模型并行的经典划分,是并行训练的背景。
读抓卷积层数据并行、全连接层模型并行的取舍;理解通信代价。
- 2
同期的另一种模型并行方案,可与流水线并行对比。
读抓张量按维度切分到多设备的思路,对比 GPipe 按层切分。
- 3
GPipe 要扩展的典型图像网络之一,也说明加深加宽带来的收益。
读了解残差网络的层序列结构,GPipe 只要求网络可表示为层的序列。
- 4
GPipe 的图像实验网络(AmoebaNet)来自 NAS 搜索空间。
读只需知道搜出的卷积单元如何堆叠成大网络,不必看搜索算法。
- 5
- 6GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
按层切分并流水线化,在多块加速器上近线性扩展巨型模型。
读抓微批次切分与重计算如何降低流水线空泡和内存占用。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用p1esk · 2019-05
引用 ImageNet 与移动端的 SOTA 结果,作为需要大量 GPU 的例子
引用cute_boi · 2026-07
“GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism - GPipe”
把 GPipe 列入自己整理的机器学习论文阅读清单
被提交为 story · 1 次
- GPipe: Efficient Training of Giant Neural Networks Using Pipeline Parallelism ↗pplonski86 · 2018-11-22 · 2 分