按年被提到
20182018 · 4 次2026
AI 安全、伦理与社会影响›模型窃取、记忆与水印·arXiv:1802.08232 · cs.LG

The Secret Sharer: Evaluating and Testing Unintended Memorization in Neural Networks

秘密分享者:评估和测试神经网络中的非预期记忆
Nicholas Carlini, Chang Liu, Úlfar Erlingsson, Jernej Kos, Dawn Song · 2018

量化生成式序列模型无意记住罕见训练序列的风险并提取秘密

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 9 人首次 2018-02-27 · 最近 2021-01-06
9不同的人
7活跃月份
9讨论串
629被引(OpenAlex)

论文提出一套测试方法,定量评估生成式序列模型无意中记住罕见或唯一训练序列的风险,让从业者能选择尽量减少记忆的训练方式。实验表明,非预期记忆是一个持续存在、难以避免的问题,对未考虑记忆问题训练的模型,作者给出了能高效提取信用卡号等唯一秘密序列的新方法,并说明该测试可作为实用的第一道防线,应用于 Google Smart Compose 以量化限制数据暴露。

HN 为什么提它

HN 上的人引用它说明神经网络会记住并可能泄露罕见的训练数据,例如 Gmail Smart Compose 用私人邮件训练带来的隐私风险。

方法难度 3 / 5约 50 分钟经得起时间
读之前最好知道
1神经网络与序列模型(语言模型)
2隐私与差分隐私基础
3困惑度(perplexity)与似然
4过拟合与记忆

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用evrydayhustling · 2019-05

“DNNs encode incredibly specific histories of training data in their weights”

拿它说明 DNN 的权重编码了训练数据的具体历史
Maryland research could improve the AI task of sensorimotor representation原评论 ↗
引用craffel · 2019-10

“It actually can be more pernicious than that: The Secret Sharer”

指出问题可能更严重,神经网络会记住罕见序列
Google T5 scores 88.9 on SuperGLUE Benchmark, approaching human baseline原评论 ↗
引用fyp · 2019-11

“For example Gmail's Smart Compose is trained on users' private messages”

举 Gmail 智能撰写用用户私信训练为例,说明记忆隐私的风险
Training algorithms on copyrighted data not illegal: US Supreme Court原评论 ↗
引用Imnimo · 2021-01

“more powerful models can memorize and expose parts of their training data. See for example: The Secret Sharer”

举例说明更强大的模型会记住并泄露部分训练数据
A Plan Made to Shield Big Tobacco from Facts Is Now EPA Policy原评论 ↗
引用astrange · 2021-01

“Models can unpredictably memorize sensitive input data, so there can be a real copyright issue here, I think.”

说明模型会不可预测地记住敏感数据,可能引发版权问题
DALL·E: Creating Images from Text原评论 ↗
被提交为 story · 4 次