按年被提到
20222022 · 2 次2026
机器学习与深度学习›训练加速与低精度计算·arXiv:2206.01288 · cs.DC

Decentralized Training of Foundation Models in Heterogeneous Environments

异构环境下基础模型的去中心化训练
Binhang Yuan, Yongjun He, Jared Quincy Davis, Tianyi Zhang, Tri Dao, Beidi Chen, Percy Liang, Christopher Re, Ce Zhang · 2022

在慢速异构网络的分散 GPU 上做大模型并行训练的调度方法

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2022-06-09 · 最近 2024-08-28发表于 neural information processing systems
4不同的人
4活跃月份
4讨论串
39被引(OpenAlex)

论文研究在低带宽、异构网络连接的去中心化 GPU 上,用模型并行训练大型基础模型。核心贡献是一个调度算法,把训练中的不同“tasklet”分配给分散的设备,并给出形式化代价模型和用于寻找最优分配的进化算法。在以真实网络测量模拟的跨 8 个城市、3 个大洲的最极端场景中,作者报告其方法比 Megatron 快 4.8 倍。

HN 为什么提它

评论者把它当作在互联网上分散训练大模型的相关研究,用来回应“能否不靠集中式集群预训练模型”的问题。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1数据并行与模型并行(data / model parallelism)
2流水线并行(pipeline parallelism)
3分布式训练系统(如 Megatron)
4进化算法(evolutionary algorithm)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用Vetch · 2022-11

“See Decentralized Training of Foundation Models in Heterogeneous Environments and their recent GPT-JT test for more.”

指向去中心化训练的研究,并提到 GPT-JT 测试
OpenAI ChatGPT: Optimizing Language Models for Dialogue原评论 ↗
引用mryab · 2023-02

“or [OTHER_PAPER] and Decentralized Training of Foundation Models in Heterogeneous Environments that show you how to do pretraining from scratch in the same setting.”

引它说明如何在同样环境下从零预训练
Running large language models like ChatGPT on a single GPU原评论 ↗
引用arilotter · 2024-08

“See [OTHER_PAPER], Decentralized Training of Foundation Models in Heterogeneous Environments, [OTHER_PAPER] etc:)”

把它当作去中心化训练的前人工作举例
DisTrO – a family of low latency distributed optimizers原评论 ↗
被提交为 story · 1 次