按年被提到
20192019 · 2 次2026
大模型与语言模型›对话式大模型·arXiv:1904.09751 · cs.CL

The Curious Case of Neural Text Degeneration

神经文本退化的奇特案例(核采样)
Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, Yejin Choi · 2019

揭示似然解码导致文本重复乏味,并提出核采样(top-p)

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2019-10-23 · 最近 2023-02-14
4不同的人
4活跃月份
4讨论串
1,876被引(OpenAlex)

论文指出一个反直觉现象:以似然为训练目标能得到高质量语言模型,但以似然为解码目标却会生成乏味且奇怪地重复的文本。作者揭示了人类文本与机器文本在分布上的差异,并发现仅改变解码策略就能显著改变同一模型生成文本的质量。据此提出核采样(Nucleus Sampling):从概率分布的动态核中采样,截断不可靠的尾部,在不牺牲流畅和连贯的前提下提高多样性。

HN 为什么提它

HN 上的人用它解释为什么最大化似然的解码会退化成重复文本,并把核采样(top-p)当作实践中生成文本的标准做法来推荐。

方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1语言模型与自回归生成
2解码策略(beam search、采样)
3概率分布与最大似然
4Transformer 架构

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解 Transformer 语言模型,再看已有的采样式文本生成工作(top-k),然后读核采样论文。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    论文所用的 GPT-2 这类语言模型属于 Transformer,需知道它如何给出下一词分布。

    读自回归解码时 Transformer 输出下一个词概率分布的方式。

  2. 2
    Hierarchical Neural Story Generation层级式神经故事生成 · 2018

    该文在故事生成中使用 top-k 采样,是核采样要改进的对象。

    读top-k 采样在故事生成里的使用及其效果。

  3. 3
    The Curious Case of Neural Text Degeneration神经文本退化的奇特案例(核采样) · 2019 · 就是这篇

    目标论文:解释似然解码为何退化,并提出 top-p 核采样。

    读人类文本与机器文本的概率分布差异,以及核采样的定义与对比实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用gwern · 2019-10

“eg [LINK] or The Curious Case of Neural Text Degeneration”

附上它作为文本生成退化问题的参考链接
Finetuning GPT-2 to Generate Beatles Lyrics原评论 ↗
引用gerash · 2019-11

“I came across this paper in one of ACL 2019 workshops:”

分享在 ACL 2019 研讨会上看到的这篇关于文本退化的论文
OpenAI Releases Largest GPT-2 Text Generation Model原评论 ↗
引用qayxc · 2020-11

“efficient en-/decoding [1]”

引用它说明高效编解码以及神经文本解码为何退化成重复
TLDR: Extreme Summarization of Scientific Documents原评论 ↗
引用techbruv · 2023-02

“In practice, you probably just wanna sample from the distribution directly after applying something like top-p: The Curious Case of Neural Text Degeneration”

建议实践中先做 top-p 再直接从分布采样,并引用它
What Is ChatGPT Doing and Why Does It Work?原评论 ↗