引用miven · 2025-04
“layers using what's called NoPE [1], not encoding positions at all”
引用 NoPE:完全不编码位置,由模型自己推断 token 顺序
比较五种位置编码,发现不加位置编码的NoPE泛化更好
论文系统比较了仅解码器 Transformer 在五种位置编码(APE、T5 相对位置编码、ALiBi、Rotary 及无位置编码 NoPE)下的长度泛化表现,覆盖多项推理和数学任务。结果显示 ALiBi、Rotary 和 APE 并不适合下游任务的长度泛化,而 NoPE 更好且不需额外计算;理论上 NoPE 能表示绝对和相对位置编码,实际训练后接近 T5 的相对位置注意力。此外,scratchpad 并不总是有帮助,其格式影响很大。
HN 评论在谈论 NoPE(完全不用位置编码)以及位置编码与长度泛化时引用它,把它当作“丢掉位置编码也可行”的证据。
“layers using what's called NoPE [1], not encoding positions at all”
“But here are some notable ones, a couple of them are linked in their blog post.”
“The paper showing that dropping positional encoding entirely is feasible is The Impact of Positional Encoding on Length Generalization in Transformers”
“I thought with NoPE schemes”