按年被提到
20262026 · 4 次2026
AI 安全、伦理与社会影响›提示注入与对齐风险·arXiv:2603.12277 · cs.CL

Prompt Injection as Role Confusion

提示注入即角色混淆
Charles Ye, Jasmine Cui, Dylan Hadfield-Menell · 2026

模型凭文字像谁来判断说话者,因此注入会奏效

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2026-04-09 · 最近 2026-08-09
3不同的人
3活跃月份
3讨论串
2被引(OpenAlex)

论文把提示注入归因于角色混淆:模型是根据文字听起来像谁,而不是标注的角色标签来判断文本来源。作者设计角色探针测量模型内部如何感知「谁在说话」,发现被注入的文本与它模仿的可信角色占据相同的表示空间;并提出零样本攻击 CoT Forgery,在用户提示和工具输出中伪造推理,对前沿模型达到 60% 攻击成功率,而基线接近零。角色混淆的程度甚至能在生成第一个 token 之前就预测攻击是否成功。

HN 为什么提它

评论者引用它说明模型靠文字风格而非角色标签推断文本来源,因此提示注入难以靠标签防住,也连带影响对隐藏推理的讨论。

实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1提示注入(prompt injection)
2聊天模板与消息角色(system/user/tool)
3表示探针(probing)
4LLM 智能体与工具调用
5思维链(chain of thought)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用puppystench · 2026-04

“showing that models infer the source of text from how it sounds, not the actual role labels the harness would provide.”

引用它说明模型凭文本的语气而非角色标签判断来源
Claude mixes up who said what and that's not OK原评论 ↗
引用puppystench · 2026-04

“a known phenomenon: Prompt Injection as Role Confusion”

把它当作已知现象的出处
Claude mixes up who said what and that's not OK原评论 ↗
引用benob · 2026-07

“People will keep hiding reasoning because it allows prompt injection Prompt Injection as Role Confusion”

拿它说明人们会继续隐藏推理,因为这样会带来提示注入
The Session You Cannot take with you原评论 ↗
引用simonw · 2026-08

“Which sounds promising... until you see results like this one: Prompt Injection as Role Confusion”

拿它泼冷水:看起来有希望,但看到这个结果就不乐观了
Now we have a timeline of the OpenAI accidental attack against Hugging Face原评论 ↗