引用nyrikki · 2024-12
“This study shows that controlling 0.1% may be enough.”
引它说明控制 0.1% 的训练数据可能就足以投毒
仅污染 0.1% 的预训练数据,投毒效果即可在后训练后依然保留
论文首次评估语言模型能否在预训练阶段被攻陷,重点看经过 SFT 和 DPO 对齐成聊天机器人之后攻击是否仍然存在。作者从零预训练了 600M 到 7B 的一系列模型,在拒绝服务、信念操纵、越狱和提示词窃取四种攻击目标下测试。结果是仅投毒 0.1% 的预训练数据,四种攻击中有三种能在后训练后仍可测出;简单的拒绝服务攻击在 0.001% 的投毒率下也能保留。
评论者用它说明只要控制约 0.1% 的训练数据就足以对模型投毒,且后门在后训练后依然存在。
“This study shows that controlling 0.1% may be enough.”
“The authors demonstrated that poisoning 0.1% of the pretraining dataset can measurably manipulate beliefs of the model.”
“2 years ago, "Persistent Pre-Training Poisoning of LLMs" - Persistent Pre-Training Poisoning of LLMs”