按年被提到
20222023 · 3 次2026
大模型与语言模型›大模型文本、写作与版权·arXiv:2202.00666 · cs.CL

Locally Typical Sampling

局部典型采样
Clara Meister, Tiago Pimentel, Gian Wiher, Ryan Cotterell · 2022

用信息论视角提出局部典型采样,减少文本生成中的重复

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2023-03-14 · 最近 2026-09-21
4不同的人
4活跃月份
4讨论串
95被引(OpenAlex)

论文把自然语言生成抽象为离散随机过程,用信息论分析解释为何高概率文本可能乏味或重复。作者形式化定义了每个词的信息量接近模型条件熵的字符串集合,并据此提出简单高效的局部典型采样(locally typical sampling)。自动与人工评估显示,在摘要与故事生成上,其质量与 nucleus、top-k 采样相当,并能稳定地减少退化的重复。

HN 为什么提它

评论者用它解释为何 beam search 对语言模型效果不佳、作为替代解码方法,并说明温度为 0 的高概率文本缺乏“意外感”、显得不自然。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1语言模型解码(beam search、top-k、nucleus 采样)
2信息论(熵与信息量)
3困惑度(perplexity)
4概率语言模型基础

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用impossiblefork · 2023-03

“I got linked this paper ('Locally typical sampling' Locally Typical Sampling) when I asked some people why beam search only works for the kind of stuff above.”

有人给了这篇论文来回答为什么 beam search 只适用于某类任务
引用PartiallyTyped · 2023-06

“There are other decoding approaches, other than beam search:”

指出除 beam search 外还有其他解码方法,如局部典型采样
LLM Powered Autonomous Agents原评论 ↗
引用Der_Einzige · 2023-10

“are doing far FAR more to advance the state of AI than dozens of VC backed LLM companies operating today.”

举作例子,称这类更好的文本采样研究比许多风投 LLM 公司更推动 AI 进步
Show HN: Phind Model beats GPT-4 at coding, with GPT-3.5 speed and 16k context原评论 ↗
引用robrenaud · 2026-09

“Temperature 0 generated text actually has a weird "lack of surprise" character that makes it seem artificial. [1]”

引用它说明温度为 0 的文本缺乏意外感,读起来不自然
Transformers Explained Visually原评论 ↗