引用bionhoward · 2025-03
“Do they even need inputs to train on outputs by inferring inputs?”
回应时指出已有论文研究从模型输出反推输入
output2prompt:只凭正常输出黑盒还原生成它们的提示词
论文研究语言模型反演:给定模型的输出,反推出生成这些输出的提示词。作者提出黑盒方法 output2prompt,无需访问 logits,也不需要对抗性或越狱式查询,只需普通用户查询的输出;并用新的稀疏编码技术提高内存效率,在多种用户提示和系统提示上验证了效果,且能零样本迁移到不同 LLM。
评论者用它回应「能否从输出反推输入」的疑问:信息有损,没有正向那么容易,但提示词可以被部分还原,比想象的好。
“Do they even need inputs to train on outputs by inferring inputs?”
“Not as trivially as the forwards direction, unsurprisingly information is lost, but better than you might expect. See for example Extracting Prompts by Inverting LLM Outputs”