按年被提到
20242024 · 3 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2407.01082 · cs.CL

Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs

提高温度:用于创意且连贯 LLM 输出的 min-p 采样
Minh Nhat Nguyen, Andrew Baker, Clement Neo, Allen Roush, Andreas Kirsch, Ravid Shwartz-Ziv · 2024

按最高概率动态截断的 min-p 采样,高温下兼顾质量与多样性

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2024-08-22 · 最近 2025-05-04
4不同的人
4活跃月份
6讨论串
31被引(OpenAlex)

top-p 等常用采样方法难以兼顾质量与多样性,在高温度下尤其容易出现不连贯或重复。论文提出 min-p 采样:以最高概率 token 的概率为比例因子,根据模型置信度动态调整截断阈值。在 GPQA、GSM8K 和 AlpacaEval Creative Writing 上,它在 Mistral 和 Llama 3 等多个模型族、1B 到 123B 的规模上提升质量和多样性,人工评测也偏好它,并已被多个开源框架采用。

HN 为什么提它

HN 上有人(包括作者)提到它是 ICLR oral,并以它说明利用 logprob 做动态截断能显著改进采样;也有评论者指出表 2 中数学任务上 min-p 低于 top-p。

方法难度 3 / 5约 40 分钟有时效性
读之前最好知道
1语言模型解码与采样
2温度(temperature)与 softmax
3top-p(nucleus)与 top-k 采样
4LLM 评测基准

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐Der_Einzige · 2025-05

“our min_p paper was ranked #18 out of 12000 submission at ICLR and got an oral:”

介绍自己的 min_p 论文,在 ICLR 上获口头报告
Dummy's Guide to Modern LLM Sampling原评论 ↗
批评NitpickLawyer · 2024-10

“Unless I'm reading Table2 (page7 - pdf version) wrong, on math, min_p is shown to score worse than top_p.”

Detecting when LLMs are uncertain原评论 ↗
引用Der_Einzige · 2025-02

“You and the OP talk a lot of smack about logprobs but we show that using them in even the simple case of dynamic truncation of your cutoff point (min_p sampler vs static top_p/top_k) leads to extreme performance improvements”

指出用 logprobs 做动态截断的 min_p 采样比静态 top_p/top_k 大幅提升表现
Show HN: Klarity – Open-source tool to analyze uncertainty/entropy in LLM output原评论 ↗
被提交为 story · 3 次