按年被提到
20242024 · 2 次2026
AI 安全、伦理与社会影响›模型窃取、记忆与水印·arXiv:2410.13722 · cs.CR

Persistent Pre-Training Poisoning of LLMs

LLM 的持久性预训练投毒
Yiming Zhang, Javier Rando, Ivan Evtimov, Jianfeng Chi, Eric Michael Smith, Nicholas Carlini, Florian Tramèr, Daphne Ippolito · 2024

仅污染 0.1% 的预训练数据,投毒效果即可在后训练后依然保留

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2024-10-21 · 最近 2026-11-01
4不同的人
4活跃月份
4讨论串
9被引(OpenAlex)

论文首次评估语言模型能否在预训练阶段被攻陷,重点看经过 SFT 和 DPO 对齐成聊天机器人之后攻击是否仍然存在。作者从零预训练了 600M 到 7B 的一系列模型,在拒绝服务、信念操纵、越狱和提示词窃取四种攻击目标下测试。结果是仅投毒 0.1% 的预训练数据,四种攻击中有三种能在后训练后仍可测出;简单的拒绝服务攻击在 0.001% 的投毒率下也能保留。

HN 为什么提它

评论者用它说明只要控制约 0.1% 的训练数据就足以对模型投毒,且后门在后训练后依然存在。

实证研究难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1大语言模型预训练与后训练(SFT、DPO)
2数据投毒(data poisoning)与后门攻击
3越狱(jailbreak)与提示词注入
4网络爬取训练数据集

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用nyrikki · 2024-12

“This study shows that controlling 0.1% may be enough.”

引它说明控制 0.1% 的训练数据可能就足以投毒
llms.txt directory原评论 ↗
引用hazrmard · 2026-08

“The authors demonstrated that poisoning 0.1% of the pretraining dataset can measurably manipulate beliefs of the model.”

说明作者证明投毒 0.1% 预训练数据就能明显操纵模型信念
Israel creates fake think tank in likely attempt to dupe AI chatbots原评论 ↗
引用Terr_ · 2026-11

“2 years ago, "Persistent Pre-Training Poisoning of LLMs" - Persistent Pre-Training Poisoning of LLMs”

指出两年前就有这篇论文,预训练投毒后门会持续存在
Agentic Backdoors via Pretraining Poisoning原评论 ↗
被提交为 story · 1 次