引用egozverev · 2025-07
“(our own) paper discussing why prompt based methods are not going to work to solve the issue”
贴出自己团队的论文:基于提示的方法解决不了这个问题
为 LLM 的指令与数据分离给出形式化度量和 SEP 数据集
论文指出指令微调 LLM 缺少计算机科学中常见的指令与数据显式分离,并首次给出该现象的形式化度量,以及可从模型输出计算的经验版本,同时发布 SEP 数据集。对多种 LLM 的测试表明所有模型的分离程度都不高,提示工程和微调等常规缓解手段要么没有明显改善,要么损害模型效用。
评论者在讨论提示注入时引用它,说明基于提示的防御解决不了问题,指令与数据不分离是提示注入的重要原因。
“(our own) paper discussing why prompt based methods are not going to work to solve the issue”
“there's a paper here positing how instruction-data separation is likely a major cause of prompt injection specifically.”