按年被提到
20222023 · 9 次2026
视觉、语音与图像生成›扩散模型·arXiv:2212.03860 · cs.LG

Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models

扩散艺术还是数字伪造?考察扩散模型中的数据复制
Gowthami Somepalli, Vasu Singla, Micah Goldblum, Jonas Geiping, Tom Goldstein · 2022

检测扩散模型是否复制训练图像,Stable Diffusion 确有照搬

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 13 人首次 2022-12-09 · 最近 2024-07-03
13不同的人
4活跃月份
11讨论串
206被引(OpenAlex)

论文研究图像检索框架,用来把生成图像与训练样本比对,检测内容是否被复制。作者在 Oxford flowers、Celeb-A、ImageNet 和 LAION 等数据集上训练的扩散模型上应用这些框架,讨论训练集规模等因素对复制率的影响,并发现包括 Stable Diffusion 在内的扩散模型确有明显照搬训练数据的情况。

HN 为什么提它

评论者在谈版权和 AI 生成图像诉讼时,用它说明扩散模型会复现训练图像(甚至包括像素级细节),也有人觉得其中部分例子并不算复制。

实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1扩散模型(如 Stable Diffusion)
2图像检索与特征相似度
3大规模图文数据集(如 LAION)
4生成模型的版权争议

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解扩散模型和潜在扩散,再读神经网络记忆化与训练数据提取的几篇工作,才看得懂这篇如何用图像检索去检测扩散模型是否复制训练图。

  1. 1
    Denoising Diffusion Probabilistic Models去噪扩散概率模型 · 2020

    目标论文研究的对象是扩散模型,先要知道它怎么从噪声生成图像。

    读前向加噪和反向去噪的过程;理解训练目标即可,推导可略读。

  2. 2
    High-Resolution Image Synthesis with Latent Diffusion Models基于潜在扩散模型的高分辨率图像合成 · 2021

    Stable Diffusion 就是潜在扩散模型,目标论文重点检验它是否照搬训练图。

    读在自编码器潜空间做扩散,以及文本条件的交叉注意力机制。

  3. 3
    Learning Transferable Visual Models From Natural Language Supervision从自然语言监督中学习可迁移的视觉模型 · 2021

    Stable Diffusion 的文本条件来自 CLIP,目标论文的检索与相似度也要用到图像特征嵌入。

    读对比预训练的图文对齐思路,以及零样本使用的概念。

  4. 4

    深度网络记忆化的早期分析,帮助理解模型何时记住训练样本而非泛化。

    读记忆样本与学习通用模式的区别,以及数据和模型因素的影响。

  5. 5
    Extracting Training Data from Large Language Models从大语言模型中提取训练数据 · 2020

    展示了从生成模型中恢复训练数据的攻击思路,目标论文把这一问题搬到图像扩散模型上。

    读训练数据提取攻击的流程:先大量生成,再判断哪些是记忆内容。

  6. 6
    Quantifying Memorization Across Neural Language Models量化神经语言模型的记忆现象 · 2022

    量化了模型规模、数据重复与记忆程度的关系,对应目标论文关于训练集大小和重复影响的讨论。

    读记忆程度随模型规模、重复次数和上下文长度变化的三条规律。

  7. 7
    Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models扩散艺术还是数字伪造?考察扩散模型中的数据复制 · 2022 · 就是这篇

    目标论文:用图像检索框架比较生成图与训练图,检测扩散模型的数据复制。

    读自监督描述子的相似度检索与复制判定,以及训练集大小和重复对复制的影响。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐space_fountain · 2022-12

“I found this paper interesting both because some of the examples it gives of clear copying don't look all that copied to me, and because some do and they find overall a relatively high rate of copying.”

觉得它有意思:有些复制例子不明显,但整体复制率相对较高
GPT3/DALL-E2 in Discord, chat like ChatGPT, generate images, and more原评论 ↗
引用IncRnd · 2023-01

“In some cases the produced images contain pixel level details from the originals.”

拿它说明有些情况下生成图像含有原图的像素级细节
Lawsuit challenging Stable Diffusion filed against DeviantArt & others原评论 ↗
引用realusername · 2023-01

“You realize those are considered defects of the model right?”

指出这类复现训练图像的情况本来就被视为模型缺陷
Lawsuit challenging Stable Diffusion filed against DeviantArt & others原评论 ↗
引用zowie_vd · 2023-01

“There's also more examples of it reproducing copyright-protected images, I pulled the "bloodborne box art" prompt from this article: Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models”

补充 Stable Diffusion 还会复现受版权保护的图像,如游戏封面
Lawsuit challenging Stable Diffusion filed against DeviantArt & others原评论 ↗
引用karpierz · 2023-01

“Here's a whole paper, complete with citations:”

贴出这篇带完整引用的论文,讨论扩散模型的记忆现象
Stable Diffusion Frivolous Litigation原评论 ↗
引用ninjin · 2023-01

“Somepalli et al. (2022) [1] for example is a fairly strong argument against your statement above.”

引用它有力反驳对方说法,证明扩散模型会记忆并复制图像
Is Copyright Eating AI?原评论 ↗
看全部 11 条 →
引用N1ckFG · 2023-01

“For this specific case, I suspect it'll come down to whether somebody in the class can pass a test like this: Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models”

认为官司可能取决于能否通过论文里这类测试,检验模型是否复现训练图像
An IP Attorney’s Reading of the Stable Diffusion Class Action Lawsuit原评论 ↗
引用rvz · 2023-02

“Also another previous study that has Stable Diffusion (SD) emitting images in the training set [0]”

补充另一项研究,同样显示 Stable Diffusion 会输出训练集图像
Stable Diffusion found to emit some images from training at generation time原评论 ↗
引用space_fountain · 2023-02

“For example it will happily produce infringing images of logos and even somewhat random other images Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models.”

拿它说明扩散模型会轻易生成侵权的 logo 乃至其他图像
Stable Attribution原评论 ↗
引用pksebben · 2023-02

“Edited to add: There's another lawsuit (a class action - 2), and after a little light reading, I came across section 5: 'Do diffusion models copy?', and my stomach jumped.”

提到集体诉讼引用了它,读到第 5 节“扩散模型会复制吗”后很震惊
Stable Attribution原评论 ↗
引用luqtas · 2024-07

“what are the opinions on [0]?”

贴出它询问大家看法,它指出扩散模型会复制训练图像,引发版权问题
Brazil data regulator bans Meta from mining data to train AI models原评论 ↗
被提交为 story · 3 次