“data duplication degrades the training and makes memorization (and therefore plagiarism, in the technical sense) more likely.”
按年被提到
20222022 · 2 次2026
Quantifying Memorization Across Neural Language Models
量化神经语言模型的记忆现象
Nicholas Carlini, Daphne Ippolito, Matthew Jagielski, Katherine Lee, Florian Tramer, Chiyuan Zhang · 2022
用三条对数线性关系量化语言模型逐字吐出训练数据的程度。
被提及 · 7 人首次 2022-08-31 · 最近 2026-07-21
7不同的人
6活跃月份
7讨论串
360被引(OpenAlex)
论文量化大语言模型逐字复述训练数据的程度,给出三条对数线性关系:记忆程度随模型容量、样本在训练集中的重复次数、以及提示所用的上下文 token 数增加而显著上升。跨模型家族推广这些结果时情况更复杂。总体上,语言模型的记忆比此前认为的更普遍,在没有主动缓解措施的情况下随规模增大可能更严重。
HN 为什么提它
评论者在争论 LLM 是否在“抄袭”时引用它,作为大模型会逐字记忆训练数据(且与数据重复次数、模型规模有关)的实证证据。
实证研究难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1大语言模型基础
2训练数据去重
3提示(prompting)与上下文长度
4隐私与训练数据提取攻击
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用ijk · 2022-08
引用它说明数据重复会损害训练,让记忆(即技术意义上的抄袭)更可能发生
引用visarga · 2022-11
“Quantifying Memorization Across Neural Language Models”
贴出这篇研究神经语言模型记忆了多少训练数据的论文
引用versteegen · 2023-03
“deep learning models with large numbers of parameters such as transformers and stable diffusion do actually memorise part of their training data verbatim”
拿它佐证大参数模型确实逐字记住了部分训练数据
引用1vuio0pswjnm7 · 2024-08
“I would read the order and draw own conclusions.”
贴出这篇论文,让读者自己读并得出结论
引用mwcampbell · 2025-04
“And there is evidence that LLMs do plagiarize when generating code.”
引用它说明 LLM 生成代码时确实会抄袭记忆内容
引用johndough · 2026-07
“Here is a paper that shows over 80% "extractability" with 1000 occurrences for a 6B model.”
引用它:6B 模型出现 1000 次的内容可提取率超过 80%
被提交为 story · 1 次
- Quantifying memorization across language models ↗PaulHoule · 2023-03-07 · 1 分