按年被提到
20222022 · 2 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2202.07646 · cs.LG

Quantifying Memorization Across Neural Language Models

量化神经语言模型的记忆现象
Nicholas Carlini, Daphne Ippolito, Matthew Jagielski, Katherine Lee, Florian Tramer, Chiyuan Zhang · 2022

用三条对数线性关系量化语言模型逐字吐出训练数据的程度。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 7 人首次 2022-08-31 · 最近 2026-07-21
7不同的人
6活跃月份
7讨论串
360被引(OpenAlex)

论文量化大语言模型逐字复述训练数据的程度,给出三条对数线性关系:记忆程度随模型容量、样本在训练集中的重复次数、以及提示所用的上下文 token 数增加而显著上升。跨模型家族推广这些结果时情况更复杂。总体上,语言模型的记忆比此前认为的更普遍,在没有主动缓解措施的情况下随规模增大可能更严重。

HN 为什么提它

评论者在争论 LLM 是否在“抄袭”时引用它,作为大模型会逐字记忆训练数据(且与数据重复次数、模型规模有关)的实证证据。

实证研究难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1大语言模型基础
2训练数据去重
3提示(prompting)与上下文长度
4隐私与训练数据提取攻击

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用ijk · 2022-08

“data duplication degrades the training and makes memorization (and therefore plagiarism, in the technical sense) more likely.”

引用它说明数据重复会损害训练,让记忆(即技术意义上的抄袭)更可能发生
Exploring 12M of the 2.3B images used to train Stable Diffusion原评论 ↗
引用visarga · 2022-11

“Quantifying Memorization Across Neural Language Models”

贴出这篇研究神经语言模型记忆了多少训练数据的论文
Ask HN: What can I personally do to fight AGAINST the Copilot class action?原评论 ↗
引用versteegen · 2023-03

“deep learning models with large numbers of parameters such as transformers and stable diffusion do actually memorise part of their training data verbatim”

拿它佐证大参数模型确实逐字记住了部分训练数据
PG: We can't all use AI. Someone has to generate the training data原评论 ↗
引用1vuio0pswjnm7 · 2024-08

“I would read the order and draw own conclusions.”

贴出这篇论文,让读者自己读并得出结论
Judge dismisses majority of GitHub Copilot copyright claims原评论 ↗
引用mwcampbell · 2025-04

“And there is evidence that LLMs do plagiarize when generating code.”

引用它说明 LLM 生成代码时确实会抄袭记忆内容
Migrating away from Rust原评论 ↗
引用johndough · 2026-07

“Here is a paper that shows over 80% "extractability" with 1000 occurrences for a 6B model.”

引用它:6B 模型出现 1000 次的内容可提取率超过 80%
The Kimi K3 Moment原评论 ↗
被提交为 story · 1 次