按年被提到
20252025 · 3 次2026
大模型与语言模型›大模型文本、写作与版权·arXiv:2505.12546 · cs.CL

Extracting memorized pieces of (copyrighted) books from open-weight language models

从开放权重语言模型中提取被记忆的(受版权保护的)书籍片段
A. Feder Cooper, Mark A. Lemley, Allison Casasola, Ahmed Ahmed, Aaron Gokaslan, Amy B. Cyphert, Christopher De Sa, Daniel E. Ho, Percy Liang · 2025

测量 14 个开放权重 LLM 对 200 本书的记忆,部分书可近乎逐字提取

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2025-05-27 · 最近 2026-02-26
4不同的人
3活跃月份
4讨论串
15被引(OpenAlex)

论文针对生成式 AI 版权诉讼中双方对 LLM 记忆受保护内容程度的绝对化主张,开发了测量书籍记忆的方法,并应用于 200 本书和 14 个开放权重 LLM,做了 3000 多次实验。结果显示记忆程度因模型和书而异:按作者的提取方法,多数 LLM 不会整本或部分记忆多数书,但有明显例外,例如 Llama 3.1 70B 能完整记忆《哈利·波特与魔法石》等书,仅用开头几个词作提示就能近乎逐字、确定性地提取全书。作者认为这对版权案件有重要影响,但并不明确偏向任何一方。

HN 为什么提它

评论者用它说明模型权重确实可以编码训练数据中的整段原文,包括书籍内容。

实证研究难度 3 / 5约 60 分钟有时效性
读之前最好知道
1大语言模型的训练与记忆
2版权法基础(合理使用)
3文本生成与贪心 / 确定性解码
4开放权重模型(如 Llama)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用aspenmayer · 2025-06

“The paper this post is referencing is freely available:”

指出帖子所引用的论文可免费获取,介绍从开放权重 LLM 提取记忆书籍片段的方法
Meta's Llama 3.1 can recall 42 percent of the first Harry Potter book原评论 ↗
引用grey-area · 2026-02

“Their weights can encode entire passages of source material in the training data”

拿它说明模型权重能编码训练数据中的整段原文
I don't know how you get here from "predict the next word."原评论 ↗
被提交为 story · 2 次