按年被提到
20232023 · 4 次2026
大模型与语言模型›混合专家与高效训练·arXiv:2311.08105 · cs.LG

DiLoCo: Distributed Low-Communication Training of Language Models

DiLoCo:语言模型的分布式低通信训练
Arthur Douillard, Qixuan Feng, Andrei A. Rusu, Rachita Chhaparia, Yani Donchev, Adhiguna Kuncoro, Marc'Aurelio Ranzato, Arthur Szlam, Jiajun Shen · 2023

DiLoCo:低通信的分布式语言模型训练,通信量减少 500 倍

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 8 人首次 2023-11-21 · 最近 2025-05-12
8不同的人
6活跃月份
8讨论串
25被引(OpenAlex)

标准 LLM 训练要求大量紧密互联的加速器,而论文提出分布式低通信优化算法 DiLoCo,可在互联较差的设备“孤岛”上训练语言模型。它是联邦平均的变体,内层步数很大、内层优化器为 AdamW、外层优化器为 Nesterov 动量。在 C4 上,8 个 worker 的 DiLoCo 与完全同步优化效果相当,而通信量少 500 倍;对各 worker 的数据分布和资源增减都很鲁棒。

HN 为什么提它

评论者把它当作能跨互联网或跨集群训练模型的低通信方法来引用,并提到它被产品化、成为 Intellect-2 的基础。

方法难度 4 / 5约 35 分钟经得起时间
读之前最好知道
1分布式训练与数据并行
2联邦平均(federated averaging)
3AdamW 与 Nesterov 动量
4大语言模型预训练

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用pr337h4m · 2023-11

“DiLoCo: Distributed Low-Communication Training of Language Models - DiLoCo”

贴出 DiLoCo,DeepMind 的跨 GPU 集群低通信分布式训练方法
Ultra Fast Bert原评论 ↗
引用hackpert · 2024-03

“There has been some interesting work when it comes to distributed training. For example DiLoCo.”

举 DiLoCo 为分布式训练的有趣工作,可在不同算力集群间低通信训练
Stable Diffusion 3: Research Paper原评论 ↗
引用bloatedGoat · 2024-09

“There are methods that make it feasible to train models over the internet. DiLoCo is one [1]”

指出有方法让人可以在互联网上训练模型,DiLoCo 就是其一
Meta AI: "The Future of AI Is Open Source and Decentralized"原评论 ↗
引用bwfan123 · 2025-05

“The most interesting thing I see is the productization of the diloco work done here [1].”

称最有意思的是 DiLoCo 的产品化,即 Intellect-2 所基于的低通信分布式训练
Intellect-2 Release: The First 32B Model Trained Through Globally Distributed RL原评论 ↗
被提交为 story · 4 次