“eg [LINK] or The Curious Case of Neural Text Degeneration”
按年被提到
20192019 · 2 次2026
The Curious Case of Neural Text Degeneration
神经文本退化的奇特案例(核采样)
Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, Yejin Choi · 2019
揭示似然解码导致文本重复乏味,并提出核采样(top-p)
被提及 · 4 人首次 2019-10-23 · 最近 2023-02-14
4不同的人
4活跃月份
4讨论串
1,876被引(OpenAlex)
论文指出一个反直觉现象:以似然为训练目标能得到高质量语言模型,但以似然为解码目标却会生成乏味且奇怪地重复的文本。作者揭示了人类文本与机器文本在分布上的差异,并发现仅改变解码策略就能显著改变同一模型生成文本的质量。据此提出核采样(Nucleus Sampling):从概率分布的动态核中采样,截断不可靠的尾部,在不牺牲流畅和连贯的前提下提高多样性。
HN 为什么提它
HN 上的人用它解释为什么最大化似然的解码会退化成重复文本,并把核采样(top-p)当作实践中生成文本的标准做法来推荐。
方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1语言模型与自回归生成
2解码策略(beam search、采样)
3概率分布与最大似然
4Transformer 架构
学习路径
读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先理解 Transformer 语言模型,再看已有的采样式文本生成工作(top-k),然后读核采样论文。
- 1
论文所用的 GPT-2 这类语言模型属于 Transformer,需知道它如何给出下一词分布。
读自回归解码时 Transformer 输出下一个词概率分布的方式。
- 2
- 3The Curious Case of Neural Text Degeneration
目标论文:解释似然解码为何退化,并提出 top-p 核采样。
读人类文本与机器文本的概率分布差异,以及核采样的定义与对比实验。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用gwern · 2019-10
附上它作为文本生成退化问题的参考链接
引用gerash · 2019-11
“I came across this paper in one of ACL 2019 workshops:”
分享在 ACL 2019 研讨会上看到的这篇关于文本退化的论文
引用qayxc · 2020-11
“efficient en-/decoding [1]”
引用它说明高效编解码以及神经文本解码为何退化成重复
引用techbruv · 2023-02
“In practice, you probably just wanna sample from the distribution directly after applying something like top-p: The Curious Case of Neural Text Degeneration”
建议实践中先做 top-p 再直接从分布采样,并引用它