引用gaogao · 2025-01
“Async Local-SGD goes for a more standard training objective comparable with a lockstep training, Asynchronous Local-SGD Training for Language Modeling.”
指出 Async Local-SGD 的训练目标更标准,可与同步训练相比
异步 Local-SGD 训练语言模型:延迟 Nesterov 动量追平同步方案。
Local-SGD(也称联邦平均)是每个设备在每次通信之间做多步 SGD 更新的分布式优化方法。论文对用于语言模型训练的异步 Local-SGD(每个工作节点一做完本地步骤就更新全局参数)做了实证研究,考察硬件异构性、模型规模、工作节点数量和优化器的影响。发现朴素实现虽更频繁地更新全局参数,却比同步版本需要更多迭代才收敛,关键难点是工作节点梯度过时时全局参数上的动量加速;为此提出延迟 Nesterov 动量更新并按计算速度调整各节点的本地步数,在最高 150M 参数、C4 数据集上,每更新步的困惑度追平同步 Local-SGD,墙钟时间上显著更优。
评论者把它作为追求与同步(lockstep)训练可比的标准训练目标的异步 Local-SGD 工作来引用,并列入较新的相关研究。
“Async Local-SGD goes for a more standard training objective comparable with a lockstep training, Asynchronous Local-SGD Training for Language Modeling.”
“including classic papers [1] and more recent ones [2].”