按年被提到
20252026 · 5 次2026
大模型与语言模型›可解释性与表征研究·arXiv:2507.14805 · cs.LG

Subliminal Learning: Language models transmit behavioral traits via hidden signals in data

潜意识学习:语言模型通过数据中的隐藏信号传递行为特征
Alex Cloud, Minh Le, James Chua, Jan Betley, Anna Sztyber-Betley, Jacob Hilton, Samuel Marks, Owain Evans · 2025

模型能通过无关数据(如数字序列)把偏好或未对齐特征传给学生模型

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2026-03-29 · 最近 2026-10-22
5不同的人
3活跃月份
3讨论串
25被引(OpenAlex)

研究「潜意识学习」:拥有某种特征 T(如喜欢猫头鹰或未对齐)的教师模型生成只含数字序列的数据集,学生模型在其上训练后竟学到 T,即使数据已过滤掉与 T 相关的内容;用同一教师生成的代码或推理轨迹时也有同样现象,但师生基础模型不同时则观察不到。作者还证明在一定条件下所有神经网络都会出现该现象,并在简单 MLP 分类器上演示。结论是这是一个普遍现象,蒸馏可能传播非预期特征,即使开发者试图用数据过滤来防止。

HN 为什么提它

HN 上的人把它当作一个真正新颖的研究方向,并引用它说明特征可通过看似无关的数据在模型间传递,即使做了过滤。

实证研究难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1知识蒸馏(distillation)
2语言模型微调
3神经网络训练基础
4AI 对齐(alignment)基本概念

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐dannyw · 2026-07

“genuinely a novel space.”

称这是一个真正全新的研究领域
Show HN: Distilling DeepSeek into GPT-OSS doesn't transfer censorship. Try it原评论 ↗
引用siddarthpm · 2026-07

“i.e. subliminal learning.”

借它的概念说明特征可经隐藏信号传递
Show HN: Distilling DeepSeek into GPT-OSS doesn't transfer censorship. Try it原评论 ↗
引用FergusArgyll · 2026-07

“This occurs even when the data is filtered to remove references to T.”

引用它说明即使过滤掉相关内容,特征依然会传递
Show HN: Distilling DeepSeek into GPT-OSS doesn't transfer censorship. Try it原评论 ↗
被提交为 story · 2 次