“CNNs can produce incredible results, see for example [0].”
按年被提到
20182018 · 2 次2026
Hierarchical Neural Story Generation
层级式神经故事生成
Angela Fan, Mike Lewis, Yann Dauphin · 2018
先生成前提再扩写成文的层级故事生成,配 30 万篇人类故事数据集
被提及 · 3 人首次 2018-05-23 · 最近 2019-02-04
3不同的人
3活跃月份
3讨论串
1,325被引(OpenAlex)
论文探索故事生成,从在线论坛收集了 30 万篇人类写作的故事及其写作提示作为数据集,支持层级式生成:先产生一个前提,再把它扩写成成段文字。作者还提出一种新的模型融合方式以提高故事与提示的相关性,并加入新的门控多尺度自注意力机制来建模长程上下文。在自动评测和人工评测上都大幅超过强基线,人类评审对该方法所生成故事的偏好是强非层级模型的两倍。
HN 为什么提它
HN 上的人把它作为卷积模型仍能在语言应用中取得出色结果的例子,例如根据提示生成连贯的长故事。
方法难度 3 / 5约 35 分钟经得起时间
读之前最好知道
1语言模型与序列到序列模型
2自注意力(self-attention)
3卷积序列模型
4文本生成评测
学习路径
读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先建立序列到序列与注意力的基础,再看 Transformer 的自注意力,这是目标论文里门控多尺度自注意力和模型融合设计的底座。
- 1
目标论文的生成模型是序列到序列结构,提示到故事的映射建立在这个框架上。
读编码器-解码器的结构与束搜索解码的基本做法。
- 2
目标论文的故事模型要让生成文本与提示保持相关,注意力是实现这一点的基础机制。
读软对齐的注意力计算与上下文向量;理解解码时如何回看输入。
- 3
- 4Hierarchical Neural Story Generation
读完基础后,再看层级故事生成(先前提后扩写)、模型融合与自注意力改造。
读WritingPrompts 数据集、前提到故事的两阶段生成、融合模型的做法与采样策略,以及消融实验。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用kastnerkyle · 2018-10
拿它说明 CNN 也能产生惊人的结果
引用phowon · 2019-02
“convolution-based models still find use in all sorts of cool applications in language, such as: Hierarchical Neural Story Generation”
举例说明卷积模型在语言应用中仍有用武之地
被提交为 story · 1 次
- Hierarchical Neural Story Generation ↗jonbaer · 2018-05-23 · 3 分