按年被提到
20182018 · 2 次2026
大模型与语言模型›大模型文本、写作与版权·arXiv:1805.04833 · cs.CL

Hierarchical Neural Story Generation

层级式神经故事生成
Angela Fan, Mike Lewis, Yann Dauphin · 2018

先生成前提再扩写成文的层级故事生成,配 30 万篇人类故事数据集

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2018-05-23 · 最近 2019-02-04
3不同的人
3活跃月份
3讨论串
1,325被引(OpenAlex)

论文探索故事生成,从在线论坛收集了 30 万篇人类写作的故事及其写作提示作为数据集,支持层级式生成:先产生一个前提,再把它扩写成成段文字。作者还提出一种新的模型融合方式以提高故事与提示的相关性,并加入新的门控多尺度自注意力机制来建模长程上下文。在自动评测和人工评测上都大幅超过强基线,人类评审对该方法所生成故事的偏好是强非层级模型的两倍。

HN 为什么提它

HN 上的人把它作为卷积模型仍能在语言应用中取得出色结果的例子,例如根据提示生成连贯的长故事。

方法难度 3 / 5约 35 分钟经得起时间
读之前最好知道
1语言模型与序列到序列模型
2自注意力(self-attention)
3卷积序列模型
4文本生成评测

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先建立序列到序列与注意力的基础,再看 Transformer 的自注意力,这是目标论文里门控多尺度自注意力和模型融合设计的底座。

  1. 1
    Sequence to Sequence Learning with Neural Networks用神经网络进行序列到序列学习 · 2014

    目标论文的生成模型是序列到序列结构,提示到故事的映射建立在这个框架上。

    读编码器-解码器的结构与束搜索解码的基本做法。

  2. 2
    Neural Machine Translation by Jointly Learning to Align and Translate通过联合学习对齐与翻译实现神经机器翻译 · 2014

    目标论文的故事模型要让生成文本与提示保持相关,注意力是实现这一点的基础机制。

    读软对齐的注意力计算与上下文向量;理解解码时如何回看输入。

  3. 3
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    目标论文提出的门控多尺度自注意力是对 Transformer 自注意力的改造。

    读缩放点积注意力与多头注意力;理解自注意力如何建模长距离依赖。

  4. 4
    Hierarchical Neural Story Generation层级式神经故事生成 · 2018 · 就是这篇

    读完基础后,再看层级故事生成(先前提后扩写)、模型融合与自注意力改造。

    读WritingPrompts 数据集、前提到故事的两阶段生成、融合模型的做法与采样策略,以及消融实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用kastnerkyle · 2018-10

“CNNs can produce incredible results, see for example [0].”

拿它说明 CNN 也能产生惊人的结果
A kinda okay text generator原评论 ↗
引用phowon · 2019-02

“convolution-based models still find use in all sorts of cool applications in language, such as: Hierarchical Neural Story Generation”

举例说明卷积模型在语言应用中仍有用武之地
The Unreasonable Effectiveness of Recurrent Neural Networks (2015)原评论 ↗
被提交为 story · 1 次