按年被提到
20242025 · 2 次2026
大模型与语言模型›混合专家与高效训练·arXiv:2401.09135 · cs.LG

Asynchronous Local-SGD Training for Language Modeling

语言建模的异步 Local-SGD 训练
Bo Liu, Rachita Chhaparia, Arthur Douillard, Satyen Kale, Andrei A. Rusu, Jiajun Shen, Arthur Szlam, Marc'Aurelio Ranzato · 2024

异步 Local-SGD 训练语言模型:延迟 Nesterov 动量追平同步方案。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2024-01-20 · 最近 2025-05-07
3不同的人
3活跃月份
3讨论串
1被引(OpenAlex)

Local-SGD(也称联邦平均)是每个设备在每次通信之间做多步 SGD 更新的分布式优化方法。论文对用于语言模型训练的异步 Local-SGD(每个工作节点一做完本地步骤就更新全局参数)做了实证研究,考察硬件异构性、模型规模、工作节点数量和优化器的影响。发现朴素实现虽更频繁地更新全局参数,却比同步版本需要更多迭代才收敛,关键难点是工作节点梯度过时时全局参数上的动量加速;为此提出延迟 Nesterov 动量更新并按计算速度调整各节点的本地步数,在最高 150M 参数、C4 数据集上,每更新步的困惑度追平同步 Local-SGD,墙钟时间上显著更优。

HN 为什么提它

评论者把它作为追求与同步(lockstep)训练可比的标准训练目标的异步 Local-SGD 工作来引用,并列入较新的相关研究。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1随机梯度下降(SGD)与 Nesterov 动量
2联邦平均与 Local-SGD
3分布式训练的同步与异步更新
4语言模型预训练

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用gaogao · 2025-01

“Async Local-SGD goes for a more standard training objective comparable with a lockstep training, Asynchronous Local-SGD Training for Language Modeling.”

指出 Async Local-SGD 的训练目标更标准,可与同步训练相比
Training AI models might not need enormous data centres原评论 ↗
引用blt · 2025-05

“including classic papers [1] and more recent ones [2].”

把它列为放宽严格串行 SGD 等价性的较新异步 local-SGD 工作
Will supercapacitors come to AI's rescue?原评论 ↗
被提交为 story · 1 次