按年被提到
20212023 · 6 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2108.12409 · cs.CL

Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation

短训长测:用线性偏置注意力实现输入长度外推
Ofir Press, Noah A. Smith, Mike Lewis · 2021

ALiBi:用与距离成正比的注意力惩罚让 Transformer 外推到更长序列

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 8 人首次 2023-05-03 · 最近 2024-10-08
8不同的人
5活跃月份
8讨论串
315被引(OpenAlex)

论文研究 Transformer 如何在推理时处理比训练时更长的序列,先证明只需改变位置表示就能实现外推,但现有方法并不高效。作者提出 ALiBi:不给词嵌入加位置嵌入,而是用与距离成正比的惩罚去偏置查询与键之间的注意力分数。以 1024 长度训练的 13 亿参数模型可外推到 2048,困惑度与在 2048 长度上训练的正弦位置嵌入模型相同,训练还快 11%、省 11% 内存,并在 WikiText-103 上优于多种强位置方法。

HN 为什么提它

讨论长上下文和位置编码时,评论者把 ALiBi 当作许多长度扩展技术的奠基工作,常拿它与 RoPE 对比,也用来指认某些模型采用的位置编码方式。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1Transformer 与自注意力(self-attention)
2位置编码(正弦、RoPE 等)
3语言模型困惑度(perplexity)
4上下文长度与长度外推

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你建立 Transformer 注意力、不同位置表示方式以及长上下文建模的前置知识,再看 ALiBi 如何用线性偏置做长度外推。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    ALiBi 修改的正是 Transformer 的位置表示与注意力计算。

    读读缩放点积注意力与正弦位置编码,理解位置信息原本如何进入模型。

  2. 2
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    BERT 使用可学习的绝对位置嵌入,是长度外推受限的典型例子。

    读抓输入表示里的位置嵌入部分,注意其最大长度固定为 512。

  3. 3
    Transformer-XL: Attentive Language Models Beyond a Fixed-Length ContextTransformer-XL:超越固定长度上下文的注意力语言模型 · 2019

    Transformer-XL 的相对位置编码和段级循环是解决长上下文的前一代方案,ALiBi 与之对比。

    读读相对位置编码的设计和评估时使用更长上下文的做法。

  4. 4
    Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation短训长测:用线性偏置注意力实现输入长度外推 · 2021 · 就是这篇

    不加位置嵌入,而是按距离给注意力分数加线性惩罚,实现短训长测。

    读重点读 ALiBi 的偏置公式与各头的斜率设置,以及外推到更长序列的困惑度实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
强烈推荐EnricoShippole · 2023-07

“I would also recommend checking out the phenomenal research by OfirPress on ALiBi which laid the foundation for many of these scaling techniques: Train Short, Test Long”

强烈推荐 Ofir Press 的 ALiBi,称它奠定了许多长上下文扩展技术的基础
推荐ofirpress · 2023-05

“You can read the paper here Train Short, Test Long”

推荐读 ALiBi 论文,其位置偏置优于正弦和旋转编码
Replit's new Code LLM: Open Source, 77% smaller than Codex, trained in 1 week原评论 ↗
引用sanxiyn · 2023-05

“They are using ALiBi (Attention with Linear Biases): Train Short, Test Long.”

指出他们用的是 ALiBi(线性偏置注意力)
Anthropic - Introducing 100K Token Context Windows, Around 75,000 Words原评论 ↗
引用malwrar · 2023-08

“Also, have you guys experimented with ALiBi[1] which claims better extrapolative results than rotary positional encoding?”

询问是否试过 ALiBi,称其外推效果优于旋转位置编码
Code Llama, an AI tool for coding原评论 ↗
引用eriicar · 2023-08

“AliBi Attention: Train Short, Test Long”

贴出 ALiBi 注意力的论文
引用Smerity · 2024-01

“I believe it's ALiBi ("Attention with Linear Biases Enables Input Length Extrapolation"), a method of positional encoding”

猜测所指的是 ALiBi,一种位置编码方法
ChatGPT for Teams原评论 ↗
看全部 7 条 →
引用chessgecko · 2024-10

“It would be easy to test by running this experiment against a baseline where both use alibi attention”

建议用两边都采用 alibi 注意力的基线来做实验验证
Differential Transformer原评论 ↗
被提交为 story · 1 次