“I found this paper interesting both because some of the examples it gives of clear copying don't look all that copied to me, and because some do and they find overall a relatively high rate of copying.”
Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models
检测扩散模型是否复制训练图像,Stable Diffusion 确有照搬
论文研究图像检索框架,用来把生成图像与训练样本比对,检测内容是否被复制。作者在 Oxford flowers、Celeb-A、ImageNet 和 LAION 等数据集上训练的扩散模型上应用这些框架,讨论训练集规模等因素对复制率的影响,并发现包括 Stable Diffusion 在内的扩散模型确有明显照搬训练数据的情况。
评论者在谈版权和 AI 生成图像诉讼时,用它说明扩散模型会复现训练图像(甚至包括像素级细节),也有人觉得其中部分例子并不算复制。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先理解扩散模型和潜在扩散,再读神经网络记忆化与训练数据提取的几篇工作,才看得懂这篇如何用图像检索去检测扩散模型是否复制训练图。
- 1
- 2
Stable Diffusion 就是潜在扩散模型,目标论文重点检验它是否照搬训练图。
读在自编码器潜空间做扩散,以及文本条件的交叉注意力机制。
- 3
Stable Diffusion 的文本条件来自 CLIP,目标论文的检索与相似度也要用到图像特征嵌入。
读对比预训练的图文对齐思路,以及零样本使用的概念。
- 4
深度网络记忆化的早期分析,帮助理解模型何时记住训练样本而非泛化。
读记忆样本与学习通用模式的区别,以及数据和模型因素的影响。
- 5
展示了从生成模型中恢复训练数据的攻击思路,目标论文把这一问题搬到图像扩散模型上。
读训练数据提取攻击的流程:先大量生成,再判断哪些是记忆内容。
- 6
量化了模型规模、数据重复与记忆程度的关系,对应目标论文关于训练集大小和重复影响的讨论。
读记忆程度随模型规模、重复次数和上下文长度变化的三条规律。
- 7Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models
目标论文:用图像检索框架比较生成图与训练图,检测扩散模型的数据复制。
读自监督描述子的相似度检索与复制判定,以及训练集大小和重复对复制的影响。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“In some cases the produced images contain pixel level details from the originals.”
“You realize those are considered defects of the model right?”
“There's also more examples of it reproducing copyright-protected images, I pulled the "bloodborne box art" prompt from this article: Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models”
“Here's a whole paper, complete with citations:”
“Somepalli et al. (2022) [1] for example is a fairly strong argument against your statement above.”
看全部 11 条 →
“For this specific case, I suspect it'll come down to whether somebody in the class can pass a test like this: Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models”
“Also another previous study that has Stable Diffusion (SD) emitting images in the training set [0]”
“For example it will happily produce infringing images of logos and even somewhat random other images Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models.”
“Edited to add: There's another lawsuit (a class action - 2), and after a little light reading, I came across section 5: 'Do diffusion models copy?', and my stomach jumped.”
“what are the opinions on [0]?”
- Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion ↗repastat3hmasta · 2022-12-09 · 1 分
- Investigating Data Replication in Diffusion Models ↗Hard_Space · 2022-12-13 · 1 分
- Diffusion Art or Digital Forgery? Data Replication in Diffusion Models ↗adrianhoward · 2022-12-20 · 1 分