“Their lessons learned paper is here: Distributed Deep Learning in Open Collaborations”
Distributed Deep Learning in Open Collaborations
让志愿者用普通互联网 GPU 协作预训练大模型的算法框架
现代深度学习依赖昂贵的专用 HPC 集群,使一些研究方向被少数机构垄断。论文分析了志愿计算在机器学习中的约束(高延迟、不对称带宽等独有挑战),并提出专为协作训练设计的新算法框架。该框架在现实条件下用于 SwAV 和 ALBERT 预训练,以很小一部分成本取得与传统设置相当的性能,并给出了 40 名参与者协作预训练语言模型的详细报告。
HN 上的人在讨论用消费级 GPU、低带宽、跨互联网志愿者联合训练大模型时反复引用它,既作为经验教训(I/O 是瓶颈),也作为这一做法的相关前作。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先看联邦学习与梯度压缩,再看混合精度、流水线并行和显存卸载,最后读用志愿者算力协作训练大模型的 DeDLOC。
- 1
联邦学习是在分散且不可靠的设备上训练模型的起点。
读联邦平均算法的流程,以及数据留在本地、只聚合更新的做法。
- 2
志愿者网络带宽受限,梯度压缩是降低通信开销的手段。
读梯度稀疏化及其配套的精度保持技巧。
- 3
- 4
流水线并行是并行训练大模型的主要办法之一,可与目标论文的协作训练对照。
读按层切分、微批次流水线以及它对设备的要求。
- 5
显存卸载使单张消费级 GPU 也能训练大模型,与志愿者场景直接相关。
读把优化器状态和计算卸载到 CPU 的思路。
- 6
ALBERT 是 DeDLOC 实验里预训练的模型,其参数共享设计影响训练和通信量。
读跨层参数共享与嵌入分解,以及模型结构。
- 7Distributed Deep Learning in Open Collaborations
目标论文:让志愿者用普通互联网 GPU 协作预训练大模型。
读面对不稳定、异构节点的训练算法与实验,以及协作训练的实际案例。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Also Distributed Deep Learning in Open Collaborations ?”
“Relevant 2021 NIPS paper: <Distributed Deep Learning in Open Collaborations”
- Distributed Deep Learning in Open Collaborations ↗lnyan · 2021-06-21 · 4 分