“I am guessing it was a blog about this paper:”
Extracting Training Data from Large Language Models
对 GPT-2 发起训练数据提取攻击,恢复数百条逐字文本
论文证明对于在私有数据集上训练并公开发布的大型语言模型,攻击者可以通过查询模型发起训练数据提取攻击,恢复单个训练样本。作者在 GPT-2 上演示了该攻击,提取出数百条逐字文本,包括个人身份信息(姓名、电话、邮箱)、IRC 对话、代码和 128 位 UUID,即使这些序列在训练数据中只出现在一篇文档里。他们还系统评估了影响攻击成败的因素,发现更大的模型更容易受攻击,并讨论了训练大语言模型的教训与可能的防护措施。
HN 上的人反复引用它作为大语言模型会逐字记住训练数据,甚至只出现一次的内容也可能被提取的证据。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先掌握 Transformer 与大语言模型,再看神经网络的记忆与泛化,以及差分隐私,最后读对 GPT-2 的训练数据提取攻击。
- 1
- 2
- 3
说明网络能记住训练样本甚至随机标签,是记忆问题的基础
读随机标签实验与记忆能力的结论
- 4
评估序列模型无意记忆训练序列的方法,与目标论文最接近
读暴露度指标与从模型中提取秘密序列的做法
- 5
- 6
- 7Extracting Training Data from Large Language Models
目标论文:对 GPT-2 的训练数据提取攻击
读攻击流程、候选序列的生成与筛选,以及恢复出的逐字文本
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“it has been shown [1] that these models can memorize information even if it only appears once in the training data.”
“It has been demonstrated that training data can be extracted from any large NLP model [0]”
“I found a paper that says language models spitting out personal information is a problem[1]”
“often to the point where training data can be extracted [1][2]”
“Extracting Training Data from Large Language Models (GPT2 but the point still stands)”
- Extracting Training Data from Large Language Models ↗trias · 2020-12-15 · 1 分
- Extracting Training Data from Large Language Models ↗callmekit · 2020-12-16 · 2 分
- Extracting Training Data from Large Language Models ↗itwontbeagi · 2021-06-30 · 1 分