按年被提到
20242024 · 6 次2026
AI 安全、伦理与社会影响›提示注入与对齐风险·arXiv:2404.13208 · cs.CR

The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions

指令层级:训练 LLM 优先遵循特权指令
Eric Wallace, Kai Xiao, Reimar Leike, Lilian Weng, Johannes Heidecke, Alex Beutel · 2024

为 LLM 定义指令优先级并训练其忽略低优先级指令,以抵御提示注入。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 7 人首次 2024-04-23 · 最近 2026-06-22
7不同的人
5活跃月份
8讨论串
134被引(OpenAlex)

论文认为提示注入、越狱等攻击的一个主要根源是 LLM 常把系统提示(应用开发者的文本)与不可信用户和第三方的文本视为同等优先级。为此提出“指令层级”,明确规定不同优先级指令冲突时模型应如何表现,并给出一种数据生成方法来示范这种分层遵循行为,教模型选择性忽略低优先级指令。把它用于 GPT-3.5 后,鲁棒性大幅提升(包括训练中未见过的攻击类型),而对标准能力的损害很小。

HN 为什么提它

评论者把它作为 OpenAI 防止指令被覆盖的工作引用,有人认为模型现在已经针对安全做过训练,也有人指出这种让模型少信任工具输出的做法仍挡不住提示注入类攻击。

方法难度 3 / 5约 25 分钟经得起时间
读之前最好知道
1提示注入(prompt injection)与越狱
2系统提示与指令遵循
3LLM 微调与合成数据生成
4对抗鲁棒性

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评marcfisc · 2025-05

“Also, OpenAI has proposed ways of training LLMs to trust tool outputs less than User instructions. That also doesn't work against these attacks.”

批评 OpenAI 提出的训练 LLM 少信任工具输出的做法,对这类攻击同样无效
GitHub MCP exploited: Accessing private repositories via MCP原评论 ↗
引用vunderba · 2024-08

“There's been some work done recently to prevent this concept of instructional overrides though”

举它为近期防止指令覆盖的工作
Crafting formulas: Lambdas all the way down原评论 ↗
引用x312 · 2026-06

“I believe they are trained for security now”

认为模型现在已针对安全做过训练,会优先遵循特权指令
A Theory of Why Prompt Injection Works原评论 ↗
被提交为 story · 5 次