按年被提到
20242024 · 3 次2026
大模型与语言模型›提示工程与输出稳定性·arXiv:2401.03729 · cs.CL

The Butterfly Effect of Altering Prompts: How Small Changes and Jailbreaks Affect Large Language Model Performance

改动提示的蝴蝶效应:微小变化与越狱如何影响大语言模型表现
Abel Salinas, Fred Morstatter · 2024

提示的微小改动,甚至多一个空格,都可能改变 LLM 的标注结果。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2024-02-24 · 最近 2024-10-24
3不同的人
3活跃月份
3讨论串
70被引(OpenAlex)

LLM 常被用来给各领域的数据打标签,而提示的构造涉及措辞、输出数据格式,乃至敏感话题下的越狱等一系列决定。论文在多种文本分类任务上设计一系列提示变体,检验提示构造方式的变化是否会改变 LLM 的最终判断。结果发现,即使是最小的扰动(如在提示末尾加一个空格)也可能使 LLM 改变答案;要求以 XML 输出和常用越狱提示,更可能对 LLM 标注的数据造成灾难性影响。

HN 为什么提它

评论者引它来说明提示的小改动(如“给小费”这类争议较大的提示技巧)会影响分类任务中的预测和准确率。

实证研究难度 2 / 5约 30 分钟有时效性
读之前最好知道
1大语言模型提示(prompting)
2文本分类任务与数据标注
3越狱提示(jailbreak)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用absal · 2024-02

“I have some related work where we looked at how tipping (and other variations) affect predictions and accuracy in classification tasks.”

拿它对照自己的相关工作:给小费等提示变化如何影响分类预测和准确率
Does offering ChatGPT a tip cause it to generate better text?原评论 ↗
引用HaZeust · 2024-10

“Since the most contested one in this thread is the "tipping" prompt hack: The Butterfly Effect of Altering Prompts”

为争议最大的“给小费”提示技巧提供研究证据
Everything I built with Claude Artifacts this week原评论 ↗
被提交为 story · 1 次