引用986aignan · 2026-10
“verbalized sampling prompts or something like it.”
提到可用 verbalized sampling 提示来提升多样性
让模型口述一组回答及概率,缓解对齐后的模式坍塌
对齐后训练常使 LLM 多样性下降,即模式坍塌。作者没有归因于算法局限,而是找到数据层面的驱动因素:偏好数据中的典型性偏差,即标注者出于认知心理学已知的原因系统性地偏爱熟悉的文本;他们从理论上形式化并在偏好数据集上验证了这一点。据此提出无需训练的提示策略 Verbalized Sampling:让模型口述一组回答及其概率(例如“生成 5 个关于咖啡的笑话及各自概率”)。它在创意写作、对话模拟、开放式问答和合成数据生成上显著提升表现,创意写作的多样性比直接提示高 1.6 到 2.1 倍,且不损害事实性与安全性,能力越强的模型获益越大。
摘录只有一句:HN 评论者提到“verbalized sampling 之类的提示”可以提高输出多样性。
“verbalized sampling prompts or something like it.”