“Communication-Efficient Learning of Deep Networks from Decentralized Data (2017)”
按年被提到
20162017 · 3 次2026
Communication-Efficient Learning of Deep Networks from Decentralized Data
基于去中心化数据的通信高效深度网络学习
H. Brendan McMahan, Eider Moore, Daniel Ramage, Seth Hampson, Blaise Agüera y Arcas · 2016
联邦学习的开山之作:数据留在设备上,只聚合本地更新
被提及 · 5 人首次 2017-04-07 · 最近 2023-04-26
5不同的人
4活跃月份
4讨论串
14,215被引(OpenAlex)
移动设备上有大量适合训练模型的数据,但这些数据往往涉及隐私或体量巨大,难以上传到数据中心。论文主张让训练数据留在设备上,通过聚合各设备本地计算的更新来学习共享模型,并把这种方式命名为联邦学习(Federated Learning)。作者提出基于迭代式模型平均的实用方法,在五种模型架构和四个数据集上做了大量实验,表明它对不均衡、非独立同分布的数据具有鲁棒性,并比同步 SGD 减少 10 到 100 倍的通信轮数。
HN 为什么提它
HN 上的人引用它作为联邦平均的出处,讨论客户端多次本地更新、服务器平均模型,以及 Gboard 在设备上训练的应用,也有人指出只上传更新仍可能泄露隐私数据。
方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1随机梯度下降(SGD)
2深度网络训练基础
3非独立同分布(non-IID)数据
4隐私与分布式学习
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用whym · 2017-04
列出文章清单里的这篇联邦平均论文
引用andreyk · 2017-04
“They do some sensible things with model initialization to make sure weight update averaging works”
称赞它在模型初始化上的处理让权重平均可行
引用est31 · 2020-12
“One important corollary of this is that "privacy respecting" federated learning schemes [0] where you train a model locally with your data and only upload the deltas might leak your private data after all.”
指出只上传更新的联邦学习方案可能仍会泄露隐私数据
引用techwizrd · 2023-04
“GBoard uses Federated Learning [0] so that models are trained locally on the device”
说明 GBoard 用联邦学习在设备本地训练模型
被提交为 story · 1 次
- Communication-Efficient Learning of Deep Networks from Decentralized Data ↗gwern · 2017-05-24 · 2 分