按年被提到
20242024 · 1 次2026
大模型与语言模型›提示工程与输出稳定性·arXiv:2403.06833 · cs.LG

Can LLMs Separate Instructions From Data? And What Do We Even Mean By That?

LLM 能把指令与数据分开吗?我们到底指的是什么?
Egor Zverev, Sahar Abdelnabi, Soroush Tabesh, Mario Fritz, Christoph H. Lampert · 2024

为 LLM 的指令与数据分离给出形式化度量和 SEP 数据集

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2024-03-29 · 最近 2026-06-20
3不同的人
3活跃月份
3讨论串
6被引(OpenAlex)

论文指出指令微调 LLM 缺少计算机科学中常见的指令与数据显式分离,并首次给出该现象的形式化度量,以及可从模型输出计算的经验版本,同时发布 SEP 数据集。对多种 LLM 的测试表明所有模型的分离程度都不高,提示工程和微调等常规缓解手段要么没有明显改善,要么损害模型效用。

HN 为什么提它

评论者在讨论提示注入时引用它,说明基于提示的防御解决不了问题,指令与数据不分离是提示注入的重要原因。

实证研究难度 3 / 5约 50 分钟经得起时间
读之前最好知道
1大语言模型(LLM)基础
2提示注入(prompt injection)
3指令微调(instruction tuning)
4基准数据集构造

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用egozverev · 2025-07

“(our own) paper discussing why prompt based methods are not going to work to solve the issue”

贴出自己团队的论文:基于提示的方法解决不了这个问题
Supabase MCP can leak your entire SQL database原评论 ↗
引用dijksterhuis · 2026-06

“there's a paper here positing how instruction-data separation is likely a major cause of prompt injection specifically.”

引用论文主张:指令与数据未分离很可能是提示注入的主要原因
ChatGPT Spontaneously Generates Sexual Violence and Hardcore Snuff Imagery原评论 ↗
被提交为 story · 1 次