引用aspenmayer · 2025-06
“The paper this post is referencing is freely available:”
指出帖子所引用的论文可免费获取,介绍从开放权重 LLM 提取记忆书籍片段的方法
测量 14 个开放权重 LLM 对 200 本书的记忆,部分书可近乎逐字提取
论文针对生成式 AI 版权诉讼中双方对 LLM 记忆受保护内容程度的绝对化主张,开发了测量书籍记忆的方法,并应用于 200 本书和 14 个开放权重 LLM,做了 3000 多次实验。结果显示记忆程度因模型和书而异:按作者的提取方法,多数 LLM 不会整本或部分记忆多数书,但有明显例外,例如 Llama 3.1 70B 能完整记忆《哈利·波特与魔法石》等书,仅用开头几个词作提示就能近乎逐字、确定性地提取全书。作者认为这对版权案件有重要影响,但并不明确偏向任何一方。
评论者用它说明模型权重确实可以编码训练数据中的整段原文,包括书籍内容。
“The paper this post is referencing is freely available:”
“Their weights can encode entire passages of source material in the training data”