按年被提到
20242024 · 2 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2405.18719 · cs.CL

Contextual Position Encoding: Learning to Count What's Important

上下文位置编码:学会数出重要的东西
Olga Golovneva, Tianlu Wang, Jason Weston, Sainbayar Sukhbaatar · 2024

CoPE:让位置只在模型选定的 token 上递增,按上下文寻址

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2024-05-30 · 最近 2025-04-03
3不同的人
3活跃月份
3讨论串
20被引(OpenAlex)

论文指出现有位置编码用 token 计数来确定位置,无法泛化到更高层抽象(如第 i 个句子)。提出上下文位置编码 CoPE:位置只在模型决定的某些 token 上递增,使注意力能按第 i 个特定词、名词或句子寻址。作者展示 CoPE 能解决选择性复制、计数和 Flip-Flop 任务(常见位置编码失败的任务),并降低语言建模与代码任务的困惑度。

HN 为什么提它

有评论者把它列为 Meta 同一批作者的另一个相关注意力思路,只是顺带提及,没有给出评价。

方法难度 4 / 5约 40 分钟经得起时间
读之前最好知道
1Transformer 架构
2自注意力机制(self-attention)
3位置编码(RoPE、绝对位置嵌入)
4语言模型困惑度(perplexity)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用kouteiheika · 2025-04

“the other one that comes to mind is this one from same authors:”

补充提到同一作者的这篇 Meta 注意力相关工作
Multi-Token Attention原评论 ↗
被提交为 story · 2 次