推荐dannyw · 2026-07
“genuinely a novel space.”
称这是一个真正全新的研究领域
模型能通过无关数据(如数字序列)把偏好或未对齐特征传给学生模型
研究「潜意识学习」:拥有某种特征 T(如喜欢猫头鹰或未对齐)的教师模型生成只含数字序列的数据集,学生模型在其上训练后竟学到 T,即使数据已过滤掉与 T 相关的内容;用同一教师生成的代码或推理轨迹时也有同样现象,但师生基础模型不同时则观察不到。作者还证明在一定条件下所有神经网络都会出现该现象,并在简单 MLP 分类器上演示。结论是这是一个普遍现象,蒸馏可能传播非预期特征,即使开发者试图用数据过滤来防止。
HN 上的人把它当作一个真正新颖的研究方向,并引用它说明特征可通过看似无关的数据在模型间传递,即使做了过滤。
“genuinely a novel space.”
“i.e. subliminal learning.”
“This occurs even when the data is filtered to remove references to T.”