按年被提到
20252025 · 3 次2026
AI 安全、伦理与社会影响›大模型与人类行为·arXiv:2510.01171 · cs.CL

Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity

Verbalized Sampling:缓解模式坍塌、释放大模型多样性
Jiayi Zhang, Simon Yu, Derek Chong, Anthony Sicilia, Michael R. Tomz, Christopher D. Manning, Weiyan Shi · 2025

让模型口述一组回答及概率,缓解对齐后的模式坍塌

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2025-10-19 · 最近 2026-10-22
5不同的人
4活跃月份
5讨论串
28被引(OpenAlex)

对齐后训练常使 LLM 多样性下降,即模式坍塌。作者没有归因于算法局限,而是找到数据层面的驱动因素:偏好数据中的典型性偏差,即标注者出于认知心理学已知的原因系统性地偏爱熟悉的文本;他们从理论上形式化并在偏好数据集上验证了这一点。据此提出无需训练的提示策略 Verbalized Sampling:让模型口述一组回答及其概率(例如“生成 5 个关于咖啡的笑话及各自概率”)。它在创意写作、对话模拟、开放式问答和合成数据生成上显著提升表现,创意写作的多样性比直接提示高 1.6 到 2.1 倍,且不损害事实性与安全性,能力越强的模型获益越大。

HN 为什么提它

摘录只有一句:HN 评论者提到“verbalized sampling 之类的提示”可以提高输出多样性。

方法难度 2 / 5约 50 分钟经得起时间
读之前最好知道
1RLHF 与偏好数据
2模式坍塌(mode collapse)
3提示工程与采样温度
4输出多样性的评测指标

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用986aignan · 2026-10

“verbalized sampling prompts or something like it.”

提到可用 verbalized sampling 提示来提升多样性
Every AI model has the same "controversial" take on humans原评论 ↗
被提交为 story · 4 次