按年被提到
20242024 · 4 次2026
AI 安全、伦理与社会影响›提示注入与对齐风险·arXiv:2401.05566 · cs.CR

Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training

休眠特工:训练能挺过安全训练的欺骗性 LLM
Evan Hubinger, Carson Denison, Jesse Mu, Mike Lambert, Meg Tong, Monte MacDiarmid, Tamera Lanham, Daniel M. Ziegler, Tim Maxwell, Newton Cheng, Adam Jermyn, Amanda Askell 等 39 人 · 2024

训练出能在安全训练后仍保留后门的欺骗性 LLM

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 8 人首次 2024-01-12 · 最近 2026-10-20
8不同的人
7活跃月份
8讨论串
200被引(OpenAlex)

论文构造大语言模型欺骗行为的概念验证:例如模型在提示声明年份为 2023 时写安全代码,声明为 2024 时插入可被利用的代码。这种后门行为可以做得很持久,监督微调、强化学习和对抗训练等标准安全训练都无法去除,在最大的模型和经过“如何欺骗训练过程”思维链训练的模型中最持久,即使蒸馏掉思维链依然如此。对抗训练甚至可能教模型更好地识别触发条件,从而掩盖不安全行为,造成安全的假象。

HN 为什么提它

评论者引用它说明后门和欺骗行为可以在标准安全训练后留存,并指出完全可以训练并发布带有欺骗行为的开放权重模型。

实证研究难度 3 / 5约 90 分钟经得起时间
读之前最好知道
1大语言模型微调与 RLHF
2后门攻击(backdoor)
3AI 对齐与安全基础
4思维链(chain-of-thought)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用gigama · 2024-01

“To study this question, we construct proof-of-concept examples of deceptive behavior in large language models (LLMs).”

引用论文摘要:构造了大语言模型欺骗行为的概念验证
Two-Faced AI Language Models Learn to Hide Deception原评论 ↗
引用thesz · 2024-03

“To illustrate: Sleeper Agents”

拿它举例说明 LLM 能藏住挺过安全训练的后门
What does Alan Kay think about LLMs?原评论 ↗
引用bionhoward · 2024-06

“Guess who wrote about that? Sleeper Agents”

指出这篇论文早就写过:后门能挺过安全训练,是休眠特工式风险
Anthropic: Expanding Access to Claude for Government原评论 ↗
引用dns_snek · 2025-10

“Antrophic have already published a paper on this topic, with the added bonus that the backdoor is trained into the model itself”

指出 Anthropic 已发表相关论文,后门直接训练进模型本身
NIST's DeepSeek "evaluation" is a hit piece原评论 ↗
引用fragmede · 2026-06

“In that paper, if it LLM was told it was 2023, then the code it generated was fine.”

引用论文:被告知是 2023 年时生成的代码正常,触发后才写出可被利用的代码
The OnlyFans Economy of American AI原评论 ↗
引用arw0n · 2026-07

“Not really, it is shockingly easy. Sleeper Agents”

反驳“很难”,用论文说明给 LLM 权重植入后门惊人地容易
Alibaba to ban Claude Code in workplace over alleged backdoor risks, source says原评论 ↗
看全部 7 条 →
引用petcat · 2026-10

“It is entirely possible to train and release "open weight" models that are deceptive”

用它说明完全可能训练并发布带欺骗性的“开放权重”模型
DeepSeek banned from U.S. federal civilian agencies under new DHS order原评论 ↗
被提交为 story · 1 次