按年被提到
20212021 · 1 次2026
机器学习与深度学习›机器学习实践与反思·arXiv:2106.10207 · cs.LG

Distributed Deep Learning in Open Collaborations

开放协作中的分布式深度学习
Michael Diskin, Alexey Bukhtiyarov, Max Ryabinin, Lucile Saulnier, Quentin Lhoest, Anton Sinitsin, Dmitry Popov, Dmitry Pyrkin, Maxim Kashirin, Alexander Borzunov, Albert Villanova del Moral, Denis Mazur 等 16 人 · 2021

让志愿者用普通互联网 GPU 协作预训练大模型的算法框架

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2021-06-21 · 最近 2025-01-20
4不同的人
4活跃月份
4讨论串
25被引(OpenAlex)

现代深度学习依赖昂贵的专用 HPC 集群,使一些研究方向被少数机构垄断。论文分析了志愿计算在机器学习中的约束(高延迟、不对称带宽等独有挑战),并提出专为协作训练设计的新算法框架。该框架在现实条件下用于 SwAV 和 ALBERT 预训练,以很小一部分成本取得与传统设置相当的性能,并给出了 40 名参与者协作预训练语言模型的详细报告。

HN 为什么提它

HN 上的人在讨论用消费级 GPU、低带宽、跨互联网志愿者联合训练大模型时反复引用它,既作为经验教训(I/O 是瓶颈),也作为这一做法的相关前作。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1分布式训练与数据并行
2去中心化与 P2P 通信
3大模型预训练(ALBERT、SwAV)
4通信带宽与延迟

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看联邦学习与梯度压缩,再看混合精度、流水线并行和显存卸载,最后读用志愿者算力协作训练大模型的 DeDLOC。

  1. 1
    Communication-Efficient Learning of Deep Networks from Decentralized Data基于去中心化数据的通信高效深度网络学习 · 2016

    联邦学习是在分散且不可靠的设备上训练模型的起点。

    读联邦平均算法的流程,以及数据留在本地、只聚合更新的做法。

  2. 2

    志愿者网络带宽受限,梯度压缩是降低通信开销的手段。

    读梯度稀疏化及其配套的精度保持技巧。

  3. 3
    Mixed Precision Training混合精度训练 · 2017

    混合精度训练可以降低显存与通信成本,是在普通 GPU 上训练大模型的基础。

    读FP16 训练、FP32 主权重与损失缩放。

  4. 4
    GPipe: Efficient Training of Giant Neural Networks using Pipeline ParallelismGPipe:用流水线并行高效训练巨型神经网络 · 2018

    流水线并行是并行训练大模型的主要办法之一,可与目标论文的协作训练对照。

    读按层切分、微批次流水线以及它对设备的要求。

  5. 5
    ZeRO-Offload: Democratizing Billion-Scale Model TrainingZeRO-Offload:让十亿级模型训练大众化 · 2021

    显存卸载使单张消费级 GPU 也能训练大模型,与志愿者场景直接相关。

    读把优化器状态和计算卸载到 CPU 的思路。

  6. 6
    ALBERT: A Lite BERT for Self-supervised Learning of Language RepresentationsALBERT:用于语言表示自监督学习的轻量 BERT · 2019

    ALBERT 是 DeDLOC 实验里预训练的模型,其参数共享设计影响训练和通信量。

    读跨层参数共享与嵌入分解,以及模型结构。

  7. 7
    Distributed Deep Learning in Open Collaborations开放协作中的分布式深度学习 · 2021 · 就是这篇

    目标论文:让志愿者用普通互联网 GPU 协作预训练大模型。

    读面对不稳定、异构节点的训练算法与实验,以及协作训练的实际案例。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用sbierwagen · 2023-12

“Their lessons learned paper is here: Distributed Deep Learning in Open Collaborations”

贴出他们的经验总结论文:消费级 GPU 分布式训练瓶颈在 I/O
Is there a SETI-like project to train LLM on libgen, scihub and the likes?原评论 ↗
引用127361 · 2024-01

“Also Distributed Deep Learning in Open Collaborations ?”

询问这篇是否与低带宽分布式训练相关
Many AI safety orgs have tried to criminalize currently-existing open-source AI原评论 ↗
引用anuramat · 2025-01

“Relevant 2021 NIPS paper: <Distributed Deep Learning in Open Collaborations”

指出这篇 2021 年 NIPS 论文相关:志愿者 GPU 协作训练大模型
Ask HN: Crowdsourced AI Training?原评论 ↗
被提交为 story · 1 次