推荐zone411 · 2023-02
“Here is a new paper that looks to be the most promising approach yet: SWARM Parallelism”
推荐这篇新论文,称它似乎是目前最有前景的节省通信训练方法
面向低速、异构、易失效设备的大模型并行训练算法
论文分析了现有模型并行算法在廉价可抢占实例和跨区域资源池下的表现,发现模型越大,训练反而越不受通信限制。据此提出 SWARM 并行:在节点之间建立临时的随机流水线,并在节点失效时重新平衡。结合压缩策略,他们在网络低于 200Mb/s 的可抢占 T4 GPU 上训练了共享参数 10 亿(共享前约 130 亿)的 Transformer 语言模型。
HN 上的人把它当作在普通网络和零散算力上做去中心化、通信高效的预训练的代表性前人工作来引用。
“Here is a new paper that looks to be the most promising approach yet: SWARM Parallelism”
“or SWARM Parallelism and [OTHER_PAPER] that show you how to do pretraining from scratch in the same setting.”
“See SWARM Parallelism, [OTHER_PAPER], [OTHER_PAPER] etc:)”