按年被提到
20162017 · 2 次2026
机器学习与深度学习›机器学习实践与反思·arXiv:1610.05755 · stat.ML

Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data

面向私有训练数据深度学习的半监督知识迁移
Nicolas Papernot, Martín Abadi, Úlfar Erlingsson, Ian Goodfellow, Kunal Talwar · 2016

PATE:用教师集成的噪声投票训练学生模型,给训练数据提供差分隐私保证

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2016-10-25 · 最近 2017-12-06
3不同的人
3活跃月份
3讨论串
492被引(OpenAlex)

为保护医疗记录等敏感训练数据,提出 PATE(教师集成的私有聚合):把在互不相交数据集上训练的多个“教师”模型以黑盒方式结合,教师不公开,学生模型只学习教师之间噪声投票选出的输出,无法直接接触教师或底层数据与参数。学生的隐私性质既可直观理解(没有单个教师或数据集决定其训练),也能在差分隐私意义下形式化证明,对教师的训练方式只有弱假设,适用于 DNN 等非凸模型,借助改进的隐私分析和半监督学习在 MNIST 与 SVHN 上取得最先进的隐私与效用权衡。

HN 为什么提它

评论者用它说明可以通过在训练数据子集上训练的模型集成来迁移学习,从而保证单个输入的隐私,也被当作 Google 在隐私学习方面的基础研究。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1差分隐私(differential privacy)
2深度神经网络
3知识蒸馏与半监督学习
4集成学习与投票聚合

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用haraldurt · 2017-11

“You can guarantee privacy of any given input (or any subset of k inputs) by applying transfer learning of an ensemble of models trained on subsets of the training data [0][1].”

用它说明:对在数据子集上训练的模型集成做迁移学习,可保证输入隐私
How Adversarial Attacks Work原评论 ↗
引用obastani · 2017-12

“Google has also done some foundational research on learning with privacy:”

指出谷歌在隐私保护学习上做过奠基性研究,这篇是其中之一
Learning with Privacy at Scale原评论 ↗
被提交为 story · 1 次