按年被提到
20162017 · 3 次2026
机器学习与深度学习›机器学习实践与反思·arXiv:1602.05629 · cs.LG

Communication-Efficient Learning of Deep Networks from Decentralized Data

基于去中心化数据的通信高效深度网络学习
H. Brendan McMahan, Eider Moore, Daniel Ramage, Seth Hampson, Blaise Agüera y Arcas · 2016

联邦学习的开山之作:数据留在设备上,只聚合本地更新

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2017-04-07 · 最近 2023-04-26
5不同的人
4活跃月份
4讨论串
14,215被引(OpenAlex)

移动设备上有大量适合训练模型的数据,但这些数据往往涉及隐私或体量巨大,难以上传到数据中心。论文主张让训练数据留在设备上,通过聚合各设备本地计算的更新来学习共享模型,并把这种方式命名为联邦学习(Federated Learning)。作者提出基于迭代式模型平均的实用方法,在五种模型架构和四个数据集上做了大量实验,表明它对不均衡、非独立同分布的数据具有鲁棒性,并比同步 SGD 减少 10 到 100 倍的通信轮数。

HN 为什么提它

HN 上的人引用它作为联邦平均的出处,讨论客户端多次本地更新、服务器平均模型,以及 Gboard 在设备上训练的应用,也有人指出只上传更新仍可能泄露隐私数据。

方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1随机梯度下降(SGD)
2深度网络训练基础
3非独立同分布(non-IID)数据
4隐私与分布式学习

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用whym · 2017-04

“Communication-Efficient Learning of Deep Networks from Decentralized Data (2017)”

列出文章清单里的这篇联邦平均论文
Machine learning without centralized training data原评论 ↗
引用andreyk · 2017-04

“They do some sensible things with model initialization to make sure weight update averaging works”

称赞它在模型初始化上的处理让权重平均可行
Machine learning without centralized training data原评论 ↗
引用est31 · 2020-12

“One important corollary of this is that "privacy respecting" federated learning schemes [0] where you train a model locally with your data and only upload the deltas might leak your private data after all.”

指出只上传更新的联邦学习方案可能仍会泄露隐私数据
Does GPT-2 Know Your Phone Number?原评论 ↗
引用techwizrd · 2023-04

“GBoard uses Federated Learning [0] so that models are trained locally on the device”

说明 GBoard 用联邦学习在设备本地训练模型
Thumb-Key: a privacy-conscious smart keyboard, made specifically for your thumbs原评论 ↗
被提交为 story · 1 次