按年被提到
20192019 · 2 次2026
大模型与语言模型›量化、解码与分词·arXiv:1911.11423 · cs.CL

Single Headed Attention RNN: Stop Thinking With Your Head

单头注意力 RNN:别再用多头思考
Stephen Merity · 2019

用 LSTM 加单头注意力,单卡一天逼近 SOTA

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2019-11-27 · 最近 2024-07-24
4不同的人
3活跃月份
4讨论串
68被引(OpenAlex)

作者质疑当时语言建模对 Transformer 的一边倒追捧,选择走老路:用经典 LSTM 加单头注意力,构成 SHA-RNN。它在字节级语言模型基准 enwik8 上逼近当时最优水平,没有做大规模超参数搜索,只在一台普通台式机上训练,单块 GPU 约 24 小时即可复现,其注意力机制也可低成本扩展到更长上下文。

HN 为什么提它

目前只有一条强推荐:评论者称它是 Merity 的论文中「我最喜欢的一篇」,是被少数人长期惦记的小众之作。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1LSTM 与循环神经网络(RNN)
2注意力机制
3字节级与字符级语言模型
4语言模型评测指标(bits per character)

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先读 LSTM 语言模型和 Transformer 两条主线,再看 SHA-RNN 如何用 LSTM 加单头注意力逼近当时最好的结果。

  1. 1
    Generating Sequences With Recurrent Neural Networks用循环神经网络生成序列 · 2013

    LSTM 序列生成的经典工作,SHA-RNN 的主体就是 LSTM。

    读理解 LSTM 用于逐步预测序列的做法。

  2. 2
    Exploring the Limits of Language Modeling探索语言建模的极限 · 2016

    大规模 LSTM 语言模型的上限,是 SHA-RNN 想证明 RNN 仍有潜力的参照。

    读看 LSTM 语言模型如何在大规模数据上扩展;实验结论抓大意。

  3. 3

    对 LSTM 语言模型的正则化与优化方案,SHA-RNN 沿用这类训练配方。

    读抓住权重丢弃、变长 BPTT 等正则化与优化技巧。

  4. 4
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    SHA-RNN 要对比和借鉴的 Transformer,需要先懂自注意力和多头。

    读理解缩放点积注意力与多头的设计;跳过翻译实验。

  5. 5
    Transformer-XL: Attentive Language Models Beyond a Fixed-Length ContextTransformer-XL:超越固定长度上下文的注意力语言模型 · 2019

    Transformer-XL 是当时语言建模的强基线,SHA-RNN 与之对比。

    读理解段级循环和相对位置编码,以及它在长上下文建模上的作用。

  6. 6
    Single Headed Attention RNN: Stop Thinking With Your Head单头注意力 RNN:别再用多头思考 · 2019 · 就是这篇

    用 LSTM 加单个注意力头,在单卡短时间内逼近 SOTA。

    读关注模型结构(Boom 层、单头注意力)和单卡训练的预算与结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
强烈推荐jszymborski · 2024-07

“my all-time favourite”

称这是自己最喜欢的论文,作者 Merity 的作品
A multimodal dataset with one trillion tokens原评论 ↗
被提交为 story · 3 次