强烈推荐jszymborski · 2024-07
“my all-time favourite”
称这是自己最喜欢的论文,作者 Merity 的作品
用 LSTM 加单头注意力,单卡一天逼近 SOTA
作者质疑当时语言建模对 Transformer 的一边倒追捧,选择走老路:用经典 LSTM 加单头注意力,构成 SHA-RNN。它在字节级语言模型基准 enwik8 上逼近当时最优水平,没有做大规模超参数搜索,只在一台普通台式机上训练,单块 GPU 约 24 小时即可复现,其注意力机制也可低成本扩展到更长上下文。
目前只有一条强推荐:评论者称它是 Merity 的论文中「我最喜欢的一篇」,是被少数人长期惦记的小众之作。
先读 LSTM 语言模型和 Transformer 两条主线,再看 SHA-RNN 如何用 LSTM 加单头注意力逼近当时最好的结果。
LSTM 序列生成的经典工作,SHA-RNN 的主体就是 LSTM。
读理解 LSTM 用于逐步预测序列的做法。
大规模 LSTM 语言模型的上限,是 SHA-RNN 想证明 RNN 仍有潜力的参照。
读看 LSTM 语言模型如何在大规模数据上扩展;实验结论抓大意。
对 LSTM 语言模型的正则化与优化方案,SHA-RNN 沿用这类训练配方。
读抓住权重丢弃、变长 BPTT 等正则化与优化技巧。
Transformer-XL 是当时语言建模的强基线,SHA-RNN 与之对比。
读理解段级循环和相对位置编码,以及它在长上下文建模上的作用。
用 LSTM 加单个注意力头,在单卡短时间内逼近 SOTA。
读关注模型结构(Boom 层、单头注意力)和单卡训练的预算与结果。
“my all-time favourite”