“They've promised to release (or already have released) the models for Exploring the Limits of Language Modeling[1]”
Exploring the Limits of Language Modeling
大规模 LSTM 语言模型在十亿词基准上把困惑度降到 30.0。
论文探索循环神经网络在大规模语言建模上的进展,处理语料和词表规模、以及语言复杂长程结构这两个关键挑战。作者在 One Billion Word Benchmark 上系统研究了字符级卷积神经网络和 LSTM 等技术:最佳单模型把当时最优困惑度从 51.3 降到 30.0,同时参数量减少为原来的 1/20;模型集成把困惑度从 41.0 降到 23.7,创下新纪录。作者还公开了这些模型。
评论者引用它说明大 LSTM 语言模型优于 n-gram 模型、需要的算力规模(32 块 K40 GPU、训练约三周),并把它当作 Google 当时最先进的文本生成结果。
学习路径
读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先理解 LSTM 序列建模和编码器-解码器,再留意大词表问题,最后读在十亿词基准上系统比较各种技术的这篇。
- 1
展示 LSTM 在序列预测和生成上的威力,是本文语言模型的基础。
读理解 LSTM 逐步预测下一个符号的做法和深层结构。
- 2
大规模 LSTM 训练和大词表处理的经验与本文相通。
读留意大型多层 LSTM 的训练技巧和词表规模带来的问题。
- 3
讨论大词表下稀有词的处理,与本文要解决的词表规模挑战相关。
读理解稀有词(超出词表)为何成问题,以及它的处理思路。
- 4Exploring the Limits of Language Modeling
目标论文:用字符 CNN、大规模 LSTM 等技术在十亿词基准上刷新困惑度。
读看字符 CNN 输入与 softmax 近似的比较、模型规模和集成的结果,对照困惑度表。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“the recent "Exploring the Limits of Language Modeling"[1] paper from Google used 32 K40 GPUs.”
“This paper shows a large LSTM outperform n-gram models:”
“This is the state of the art text generation result from Google: Exploring the Limits of Language Modeling”
- Exploring the Limits of Language Modeling ↗vonnik · 2016-02-09 · 4 分
- Exploring the Limits of Language Modeling ↗tim_sw · 2016-02-11 · 3 分