引用haraldurt · 2017-11
“You can guarantee privacy of any given input (or any subset of k inputs) by applying transfer learning of an ensemble of models trained on subsets of the training data [0][1].”
用它说明:对在数据子集上训练的模型集成做迁移学习,可保证输入隐私
PATE:用教师集成的噪声投票训练学生模型,给训练数据提供差分隐私保证
为保护医疗记录等敏感训练数据,提出 PATE(教师集成的私有聚合):把在互不相交数据集上训练的多个“教师”模型以黑盒方式结合,教师不公开,学生模型只学习教师之间噪声投票选出的输出,无法直接接触教师或底层数据与参数。学生的隐私性质既可直观理解(没有单个教师或数据集决定其训练),也能在差分隐私意义下形式化证明,对教师的训练方式只有弱假设,适用于 DNN 等非凸模型,借助改进的隐私分析和半监督学习在 MNIST 与 SVHN 上取得最先进的隐私与效用权衡。
评论者用它说明可以通过在训练数据子集上训练的模型集成来迁移学习,从而保证单个输入的隐私,也被当作 Google 在隐私学习方面的基础研究。
“You can guarantee privacy of any given input (or any subset of k inputs) by applying transfer learning of an ensemble of models trained on subsets of the training data [0][1].”
“Google has also done some foundational research on learning with privacy:”