引用Terr_ · 2025-10
“There are lots of comments about it here:”
指出这里有很多相关评论
约250份毒文档就能给各种规模的大模型植入后门
已有预训练投毒研究假设攻击者控制训练语料的一定比例,但对大模型即使很小的比例也对应巨大的数据量。论文首次证明投毒攻击所需的文档数近乎恒定,与数据集规模无关:他们在 chinchilla 最优数据量(6B 到 260B token)上预训练 600M 到 13B 参数的模型,这是迄今最大的预训练投毒实验,结果是 250 份毒文档就能同样攻陷所有规模的模型,尽管最大模型的干净数据多了 20 倍以上。微调阶段的投毒也有同样的规律,这意味着对大模型植入后门可能比以往认为的更容易。
HN 评论者把它当作“只需少量固定数量的样本就能给 LLM 训练投毒”的标志性例子,用来讨论训练数据被恶意利用的风险。
“There are lots of comments about it here:”
“I think they're referring to this study on LLM poisoning in the pretraining step: Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples”
“This would be a classic recent example”
“This is so different from the methods in the research the attack is based on[1].”