按年被提到
20232023 · 2 次2026
机器学习与深度学习›训练加速与低精度计算·arXiv:2301.11913 · cs.DC

SWARM Parallelism: Training Large Models Can Be Surprisingly Communication-Efficient

SWARM 并行:训练大模型可以出人意料地节省通信
Max Ryabinin, Tim Dettmers, Michael Diskin, Alexander Borzunov · 2023

面向低速、异构、易失效设备的大模型并行训练算法

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2023-02-04 · 最近 2024-08-28
4不同的人
3活跃月份
4讨论串
11被引(OpenAlex)

论文分析了现有模型并行算法在廉价可抢占实例和跨区域资源池下的表现,发现模型越大,训练反而越不受通信限制。据此提出 SWARM 并行:在节点之间建立临时的随机流水线,并在节点失效时重新平衡。结合压缩策略,他们在网络低于 200Mb/s 的可抢占 T4 GPU 上训练了共享参数 10 亿(共享前约 130 亿)的 Transformer 语言模型。

HN 为什么提它

HN 上的人把它当作在普通网络和零散算力上做去中心化、通信高效的预训练的代表性前人工作来引用。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1模型并行与流水线并行
2分布式训练基础
3Transformer 架构
4梯度与激活压缩

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐zone411 · 2023-02

“Here is a new paper that looks to be the most promising approach yet: SWARM Parallelism”

推荐这篇新论文,称它似乎是目前最有前景的节省通信训练方法
Open Assistant – project meant to give everyone access to a great chat based LLM原评论 ↗
引用mryab · 2023-02

“or SWARM Parallelism and [OTHER_PAPER] that show you how to do pretraining from scratch in the same setting.”

指出这些论文展示了同样环境下如何从零预训练,通过互联网省通信
Running large language models like ChatGPT on a single GPU原评论 ↗
引用arilotter · 2024-08

“See SWARM Parallelism, [OTHER_PAPER], [OTHER_PAPER] etc:)”

把它作为节省通信训练的先行工作之一列出
DisTrO – a family of low latency distributed optimizers原评论 ↗
被提交为 story · 1 次