按年被提到
20202020 · 3 次2026
AI 安全、伦理与社会影响›模型窃取、记忆与水印·arXiv:2012.07805 · cs.CR

Extracting Training Data from Large Language Models

从大语言模型中提取训练数据
Nicholas Carlini, Florian Tramer, Eric Wallace, Matthew Jagielski, Ariel Herbert-Voss, Katherine Lee, Adam Roberts, Tom Brown, Dawn Song, Ulfar Erlingsson, Alina Oprea, Colin Raffel · 2020

对 GPT-2 发起训练数据提取攻击,恢复数百条逐字文本

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 9 人首次 2020-12-15 · 最近 2026-09-05
9不同的人
7活跃月份
9讨论串
900被引(OpenAlex)

论文证明对于在私有数据集上训练并公开发布的大型语言模型,攻击者可以通过查询模型发起训练数据提取攻击,恢复单个训练样本。作者在 GPT-2 上演示了该攻击,提取出数百条逐字文本,包括个人身份信息(姓名、电话、邮箱)、IRC 对话、代码和 128 位 UUID,即使这些序列在训练数据中只出现在一篇文档里。他们还系统评估了影响攻击成败的因素,发现更大的模型更容易受攻击,并讨论了训练大语言模型的教训与可能的防护措施。

HN 为什么提它

HN 上的人反复引用它作为大语言模型会逐字记住训练数据,甚至只出现一次的内容也可能被提取的证据。

实证研究难度 3 / 5约 50 分钟经得起时间
读之前最好知道
1语言模型与 GPT-2
2成员推断与隐私攻击
3困惑度(perplexity)
4训练数据与记忆

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先掌握 Transformer 与大语言模型,再看神经网络的记忆与泛化,以及差分隐私,最后读对 GPT-2 的训练数据提取攻击。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    被攻击的语言模型的基础架构

    读解码器端自注意力与自回归生成的方式

  2. 2
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    大语言模型的代表,说明模型规模与记忆风险的背景

    读模型规模与训练数据来源,以及少样本能力

  3. 3
    Understanding deep learning requires rethinking generalization理解深度学习需要重新思考泛化 · 2016

    说明网络能记住训练样本甚至随机标签,是记忆问题的基础

    读随机标签实验与记忆能力的结论

  4. 4
    The Secret Sharer: Evaluating and Testing Unintended Memorization in Neural Networks秘密分享者:评估和测试神经网络中的非预期记忆 · 2018

    评估序列模型无意记忆训练序列的方法,与目标论文最接近

    读暴露度指标与从模型中提取秘密序列的做法

  5. 5
    Deep Learning with Differential Privacy带差分隐私的深度学习 · 2016

    目标论文讨论的防御手段:差分隐私训练

    读DP-SGD 的梯度裁剪与加噪,以及隐私预算的核算

  6. 6

    把差分隐私用在循环语言模型上的先例

    读差分隐私训练语言模型的做法与代价

  7. 7
    Extracting Training Data from Large Language Models从大语言模型中提取训练数据 · 2020 · 就是这篇

    目标论文:对 GPT-2 的训练数据提取攻击

    读攻击流程、候选序列的生成与筛选,以及恢复出的逐字文本

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用jepler · 2020-12

“I am guessing it was a blog about this paper:”

猜测所说的博客是关于这篇论文,即从 GPT-2 等模型提取记忆的训练数据
Does GPT-2 know your phone number?原评论 ↗
引用ma2rten · 2021-02

“it has been shown [1] that these models can memorize information even if it only appears once in the training data.”

引用它说明模型即使训练数据里只出现一次也能记住
Google Open-Sources Trillion-Parameter AI Language Model Switch Transformer原评论 ↗
引用qayxc · 2021-07

“It has been demonstrated that training data can be extracted from any large NLP model [0]”

引用它证明可以从任何大型 NLP 模型中提取训练数据
All public GitHub code was used in training Copilot原评论 ↗
引用BoppreH · 2022-06

“I found a paper that says language models spitting out personal information is a problem[1]”

引用它说明语言模型吐出个人信息是个问题
Ask HN: GPT-3 reveals my full name – can I do anything?原评论 ↗
引用vitehozonage · 2023-04

“often to the point where training data can be extracted [1][2]”

引用它说明模型常到能提取出训练数据的程度
Record Labels Panic as A.I. Generated Song Becomes Hit Single原评论 ↗
引用dijksterhuis · 2026-09

“Extracting Training Data from Large Language Models (GPT2 but the point still stands)”

引用它说明可通过查询逐字提取训练数据,虽然是 GPT2,观点仍成立
“Next-token predictor” is the wrong mental model for LLMs原评论 ↗
被提交为 story · 3 次