按年被提到
20252025 · 2 次2026
AI 安全、伦理与社会影响›大模型与人类行为·arXiv:2505.00047 · cs.CL

Base Models Beat Aligned Models at Randomness and Creativity

在随机性与创造力上,基础模型胜过对齐模型
Peter West, Christopher Potts · 2025

对齐后的 LLM 在随机数、博弈与创意写作上不如基础模型

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2025-05-07 · 最近 2026-10-15
4不同的人
3活跃月份
4讨论串
—被引(OpenAlex)

论文指出对齐(如 RLHF)不应被无差别使用,并展示一系列任务上基础语言模型稳定优于其对齐版本,这些任务都要求不可预测的输出:随机数生成、混合策略博弈(石头剪刀布、捉迷藏)和创意写作。对齐模型行为趋于狭窄,例如偏爱生成“7”、在某些博弈状态下几乎完全可预测、或更看重文字愉悦而非创造原创性。在测试的模型中,常用基准成绩越好,在这些任务上往往越差,说明两种能力之间存在权衡。

HN 为什么提它

评论者用它说明对齐模型的随机性塌缩是 RL 训练造成的,基础模型没有这种现象,输出更多样、更有创意。

实证研究难度 2 / 5约 30 分钟经得起时间
读之前最好知道
1基础模型与对齐(RLHF)
2大语言模型的采样与随机性
3混合策略博弈基础
4语言模型评测基准

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用deepsquirrelnet · 2026-02

“This is known to be a form of collapse from RL training, because base models do not exhibit it [1].”

指出这是 RL 训练造成的坍缩,基础模型并不会出现
I asked Claude for 37,500 random names, and it can't stop saying Marcus原评论 ↗
引用stratos123 · 2026-10

“As for studies that measure this effect, I just found these: Base Models Beat Aligned Models at Randomness and Creativity”

贴出测量这种效应的研究,基础模型比对齐模型输出更多样、更有创意
Why do LLM pelicans look like this?原评论 ↗
被提交为 story · 2 次