按年被提到
20212025 · 4 次2026
大模型与语言模型›模型表达力与计算理论·arXiv:2104.09864 · cs.CL

RoFormer: Enhanced Transformer with Rotary Position Embedding

RoFormer:带旋转位置编码的增强 Transformer
Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen, Yunfeng Liu · 2021

用旋转矩阵编码绝对位置、在注意力中体现相对位置的旋转位置编码 RoPE。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 7 人首次 2023-03-12 · 最近 2025-08-05
7不同的人
5活跃月份
7讨论串
2,228被引(OpenAlex)

论文先考察了把位置信息融入 Transformer 语言模型的各种方法,然后提出旋转位置编码(RoPE):用旋转矩阵编码绝对位置,同时在自注意力公式中显式引入相对位置依赖。RoPE 具有序列长度灵活、token 间依赖随相对距离增大而衰减、可让线性自注意力带上相对位置编码等性质。在多个长文本分类基准上,带 RoPE 的 RoFormer 持续优于对比方法,论文还给出理论分析。

HN 为什么提它

评论者用它解释 LLM 如何表示位置(固定的而非学出来的),并说明 Llama 等模型依靠 RoPE 把上下文窗口扩展到训练长度之外。

方法难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1Transformer 架构与自注意力
2位置编码(positional encoding)
3旋转矩阵与线性代数
4相对位置编码

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我理解 Transformer 的注意力与位置编码、BERT 和 Transformer-XL 的位置处理方式,以及线性注意力,用来读懂旋转位置编码在注意力中如何体现相对位置。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    RoPE 要替换的就是 Transformer 里的位置编码,需要先懂原来的正弦位置编码和自注意力。

    读缩放点积注意力与正弦绝对位置编码的构造。

  2. 2
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    BERT 使用的是可学习的绝对位置嵌入,是目标论文对比的做法之一。

    读输入表示里位置嵌入的加法方式。

  3. 3
    Transformer-XL: Attentive Language Models Beyond a Fixed-Length ContextTransformer-XL:超越固定长度上下文的注意力语言模型 · 2019

    Transformer-XL 提出相对位置编码,是目标论文要对比和改进的另一类做法。

    读相对位置编码如何改写注意力分数的展开式。

  4. 4
    Transformers are RNNs: Fast Autoregressive Transformers with Linear AttentionTransformer 就是 RNN:基于线性注意力的快速自回归 Transformer · 2020

    目标论文说明 RoPE 能与线性注意力结合,需要知道线性注意力的形式。

    读核特征映射代替 softmax 的线性注意力公式。

  5. 5
    RoFormer: Enhanced Transformer with Rotary Position EmbeddingRoFormer:带旋转位置编码的增强 Transformer · 2021 · 就是这篇

    目标论文:用旋转矩阵编码绝对位置,在注意力内积中体现相对位置。

    读二维旋转的推导、高维上的分块旋转,以及内积只依赖相对位置的性质。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用sebzim4500 · 2023-03

“It doesn't really use them, it uses something called RoPE which is hardcoded rather than learned and is applied multiplicatively at every layer to both the key and the value.”

指出模型用的是 RoPE,固定而非学习,并逐层应用
Large language models are having their Stable Diffusion moment原评论 ↗
引用mfn · 2023-04

“Inspired largely by the RoFormer paper, I thought I'd write a post”

说自己主要受 RoFormer 启发写了一篇文章,讲旋转位置编码
Why Are Sinusoidal Functions Used for Position Encoding?原评论 ↗
引用GistNoesis · 2023-08

“The reference paper for rotary embedding is Roformer RoFormer”

指出 RoFormer 是旋转位置编码的原始论文
Llama from Scratch (or how to implement a paper without crying)原评论 ↗
引用EGreg · 2025-04

“LLaMa 3 already has RoPE encoding which can handle arbitrarily long contexts (within reason)”

拿 RoPE 说明 LLaMa 3 已能处理很长上下文
Multi-Token Attention原评论 ↗
引用jimmyl02 · 2025-04

“the large context windows generally involve RoPE[0] which is a trick that allows the training window to be smaller but expand larger during inference.”

用 RoPE 解释大上下文窗口:训练窗口小,推理时可扩展
The Llama 4 herd原评论 ↗
引用spmurrayzzz · 2025-04

“But here are some notable ones, a couple of them are linked in their blog post.”

把它列为 RoPE 相关重要论文之一
Llama 4 Now Live on Groq原评论 ↗
看全部 7 条 →
引用spott · 2025-08

“I think they have a citation for it, though it might just be the RoPE paper.”

推测 Llama 位置编码的引用可能就是 RoPE 这篇
Open models by OpenAI原评论 ↗