推荐danShumway · 2023-12
“it's still a good read today.”
推荐:今天读仍然值得,早期清楚讲述了间接提示注入的风险
提出间接提示注入,揭示 LLM 应用中数据与指令界限模糊
论文指出,LLM 集成应用使数据与指令的界限变得模糊:攻击者可把提示注入将被检索的数据中,在没有直接接口的情况下远程利用应用,这就是间接提示注入(Indirect Prompt Injection)。作者从计算机安全角度给出系统性分类,涵盖数据窃取、蠕虫式传播和信息生态污染等影响,并在 Bing Chat、代码补全引擎和基于 GPT-4 的合成应用上演示了攻击的可行性,同时指出当时缺乏有效缓解手段。
HN 上的人引用它来说明“间接提示注入”这个术语的出处,并说明它是最难缓解的 LLM 应用攻击面。
“it's still a good read today.”
“a term that was introduced in this paper by Kai Greshake et al: Not what you've signed up for”
“The biggest and most difficult to mitigate attack vector is indirect prompt injection.[0]”