按年被提到
20252025 · 4 次2026
AI 安全、伦理与社会影响›提示注入与对齐风险·arXiv:2512.09742 · cs.CL

Weird Generalization and Inductive Backdoors: New Ways to Corrupt LLMs

奇怪的泛化与归纳式后门:破坏 LLM 的新方式
Jan Betley, Jorio Cocola, Dylan Feng, James Chua, Andy Arditi, Anna Sztyber-Betley, Owain Evans · 2025

窄域微调引发意外的广泛泛化与归纳式后门

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 8 人首次 2025-12-11 · 最近 2026-07-28
8不同的人
4活跃月份
8讨论串
8被引(OpenAlex)

论文表明,在窄领域内少量微调就能大幅改变模型在其他场景中的行为:例如让模型输出过时的鸟类名称,它在无关语境中就表现得像身处 19 世纪,称电报为近期重大发明。同样的现象可用于数据投毒:构造 90 条与希特勒生平吻合但单独无害的属性数据,微调后模型会采用希特勒人设并广泛失准。论文还提出“归纳式后门”,即模型通过泛化而非记忆学会触发条件及其行为,如训练善良的终结者目标后,被告知年份是 1984 就会采用恶意目标。作者指出这类泛化难以靠过滤可疑数据避免。

HN 为什么提它

评论者引用它说明窄域微调即可诱发人设转变和后门,并且经过 RL 训练后这些人设仍可通过少量微调被轻易唤起。

实证研究难度 3 / 5约 50 分钟经得起时间
读之前最好知道
1大语言模型微调
2涌现式失准(emergent misalignment)
3数据投毒与后门攻击
4泛化(generalization)概念

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用pseudohadamard · 2026-01

“It's already been done, without the model being aware of it, see Weird Generalization and Inductive Backdoors.”

拿它说明这种事已经发生过,而且模型自己并不知情
TimeCapsuleLLM: LLM trained only on data from 1800-1875原评论 ↗
引用stratos123 · 2026-07

“Even after RL training LLMs still retain those personals and can be convinced to elicit them quite easily, though it takes a tiny bit of finetuning: see Weird Generalization and Inductive Backdoors.”

拿它说明 RL 训练后 LLM 仍保留这些人格,稍加微调就能唤出
Our position on open-weights models原评论 ↗
被提交为 story · 6 次