引用deepsquirrelnet · 2026-02
“This is known to be a form of collapse from RL training, because base models do not exhibit it [1].”
指出这是 RL 训练造成的坍缩,基础模型并不会出现
对齐后的 LLM 在随机数、博弈与创意写作上不如基础模型
论文指出对齐(如 RLHF)不应被无差别使用,并展示一系列任务上基础语言模型稳定优于其对齐版本,这些任务都要求不可预测的输出:随机数生成、混合策略博弈(石头剪刀布、捉迷藏)和创意写作。对齐模型行为趋于狭窄,例如偏爱生成“7”、在某些博弈状态下几乎完全可预测、或更看重文字愉悦而非创造原创性。在测试的模型中,常用基准成绩越好,在这些任务上往往越差,说明两种能力之间存在权衡。
评论者用它说明对齐模型的随机性塌缩是 RL 训练造成的,基础模型没有这种现象,输出更多样、更有创意。
“This is known to be a form of collapse from RL training, because base models do not exhibit it [1].”
“As for studies that measure this effect, I just found these: Base Models Beat Aligned Models at Randomness and Creativity”