按年被提到
20232023 · 4 次2026
AI 安全、伦理与社会影响›模型窃取、记忆与水印·arXiv:2310.13828 · cs.CR

Nightshade: Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models

Nightshade:针对文生图模型的提示词特定投毒攻击
Shawn Shan, Wenxin Ding, Josephine Passananti, Stanley Wu, Haitao Zheng, Ben Y. Zhao · 2023

用不足 100 个毒样本破坏文生图模型对特定提示词的响应

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 8 人首次 2023-10-24 · 最近 2026-01-04
8不同的人
5活跃月份
9讨论串
117被引(OpenAlex)

论文指出文生图模型中每个概念的训练数据其实有限,因此易受针对单个提示词的投毒攻击。提出的 Nightshade 经过优化,毒样本在视觉上与匹配文本的正常图像无异,不到 100 个样本就能破坏 Stable Diffusion SDXL 的一个提示词,效果还会“渗透”到相关概念,多个攻击可叠加;适量攻击甚至能使模型整体特征失稳而无法生成有意义的图像。作者建议把它作为创作者对抗无视拒绝抓取指令的爬虫的最后防线。

HN 为什么提它

HN 上的评论以批评为主:指出投毒会破坏图像细节,且受污染图像在当前实现下容易被检测甚至“去毒”。

方法难度 3 / 5约 50 分钟经得起时间
读之前最好知道
1扩散模型与文生图(text-to-image)
2数据投毒(data poisoning)
3对抗扰动与特征空间优化
4Stable Diffusion 基础

学习路径

读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我建立数据投毒与后门攻击的早期工作、文生图模型(扩散模型、潜在扩散、CLIP)的基本原理,以及保护艺术家的相邻工作,用来理解提示词特定投毒为何只需很少样本。

  1. 1
    BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply ChainBadNets:识别机器学习模型供应链中的漏洞 · 2017

    后门与训练期投毒的经典工作,Nightshade 属于训练期攻击这一脉络。

    读触发器如何让模型在特定输入上出错、其他输入上正常。

  2. 2

    展示对生成式模型(代码补全)的投毒,与文生图投毒思路相近。

    读如何向训练语料注入毒样本,使模型在特定上下文里给出攻击者想要的输出。

  3. 3
    Deep Unsupervised Learning using Nonequilibrium Thermodynamics利用非平衡热力学的深度无监督学习 · 2015

    最早的扩散模型,理解文生图模型的生成原理从这里开始。

    读前向加噪与反向去噪的基本框架,不必深究数学推导。

  4. 4
    High-Resolution Image Synthesis with Latent Diffusion Models基于潜在扩散模型的高分辨率图像合成 · 2021

    Stable Diffusion 的原论文,是 Nightshade 的主要攻击对象。

    读潜空间里做扩散的设计,以及文本条件是如何注入的(交叉注意力)。

  5. 5
    Learning Transferable Visual Models From Natural Language Supervision从自然语言监督中学习可迁移的视觉模型 · 2021

    CLIP 的文本-图像对齐是文生图模型理解提示词的基础。

    读对比训练与图文嵌入空间;理解概念与图像特征如何关联。

  6. 6

    论证对网络规模训练集投毒是可行的,说明攻击的现实基础。

    读攻击者如何通过篡改网络内容进入训练集。

  7. 7

    同一研究组保护艺术家的相邻工作,Nightshade 常与它配合讨论。

    读风格模仿的防护思路,以及与投毒的区别。

  8. 8
    Nightshade: Prompt-Specific Poisoning Attacks on Text-to-Image Generative ModelsNightshade:针对文生图模型的提示词特定投毒攻击 · 2023 · 就是这篇

    目标论文:用不到 100 个毒样本破坏特定提示词的生成。

    读单个概念的训练数据很少这一观察,以及毒样本的构造与评估。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评brucethemoose2 · 2024-01

“What the article doesn't illustrate is that it destroys fine detail in the image”

Artists can now poison their images to deter misuse by AI原评论 ↗
批评brucethemoose2 · 2024-01

“What the article doesn't illustrate is that it destroys fine detail in the image”

Nightshade: An offensive tool for artists against AI art generators原评论 ↗
批评torginus · 2026-01

“My two cents is that in its current implementation the compromised images can be easily detected, and possibly even 'de-poisoned'.”

Nightshade: Make images unsuitable for model training原评论 ↗
被提交为 story · 6 次