按年被提到
20232023 · 5 次2026
AI 安全、伦理与社会影响›模型窃取、记忆与水印·arXiv:2311.17035 · cs.LG

Scalable Extraction of Training Data from (Production) Language Models

从(生产级)语言模型中大规模提取训练数据
Milad Nasr, Nicholas Carlini, Jonathan Hayase, Matthew Jagielski, A. Feder Cooper, Daphne Ippolito, Christopher A. Choquette-Choo, Eric Wallace, Florian Tramèr, Katherine Lee · 2023

从开源到 ChatGPT 的语言模型中大规模提取训练数据

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 8 人首次 2023-11-29 · 最近 2025-10-05
8不同的人
5活跃月份
8讨论串
292被引(OpenAlex)

论文研究“可提取记忆”:对手无需了解训练集、仅靠查询模型就能高效提取的训练数据。作者在 Pythia、GPT-Neo 等开源模型,LLaMA、Falcon 等半开放模型以及 ChatGPT 等闭源模型上提取出数 GB 训练数据;针对已对齐的 ChatGPT,他们设计了新的发散攻击,使其脱离聊天式输出并以约 150 倍的速率吐出训练数据。结果说明实际攻击能恢复的数据远超此前认识,且当前的对齐技术并不能消除记忆。

HN 为什么提它

评论者引用它说明文本模型同样会泄漏训练数据,尤其是让 ChatGPT 反复重复同一个词就会逐字吐出训练数据。

实证研究难度 3 / 5约 60 分钟经得起时间
读之前最好知道
1语言模型预训练与记忆(memorization)
2隐私攻击(成员推断、数据提取)
3对齐与 RLHF 基础
4后缀数组与字符串匹配

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用WhitneyLand · 2023-12

“I think it’s valid work, but the original tweet seems to call a prompt based paper into question.”

认为这是有效的工作,但原推文似乎质疑了这篇基于提示词的论文
Sorry, but a new prompt for GPT-4 is not a paper原评论 ↗
引用snakeyjake · 2024-01

“Text, too: Scalable Extraction of Training Data from (Production) Language Models”

补充说文本模型也会泄露原始训练数据,并给出论文
Nightshade: An offensive tool for artists against AI art generators原评论 ↗
引用kmeisthax · 2024-02

“get ChatGPT to regurgitate verbatim training data by asking it to repeat the same word over and over again[1]”

拿它说明让 ChatGPT 反复重复同一个词,就能让它逐字吐出训练数据
Beyond self-attention: How a small language model predicts the next token原评论 ↗
引用tptacek · 2025-10

“I just have these ones off the top of my head”

凭记忆列出几个例子,其中包括从 ChatGPT 等生产级模型提取训练数据的这篇
What GPT-OSS leaks about OpenAI's training data原评论 ↗
被提交为 story · 4 次