引用kouteiheika · 2025-04
“the other one that comes to mind is this one from same authors:”
补充提到同一作者的这篇 Meta 注意力相关工作
CoPE:让位置只在模型选定的 token 上递增,按上下文寻址
论文指出现有位置编码用 token 计数来确定位置,无法泛化到更高层抽象(如第 i 个句子)。提出上下文位置编码 CoPE:位置只在模型决定的某些 token 上递增,使注意力能按第 i 个特定词、名词或句子寻址。作者展示 CoPE 能解决选择性复制、计数和 Flip-Flop 任务(常见位置编码失败的任务),并降低语言建模与代码任务的困惑度。
有评论者把它列为 Meta 同一批作者的另一个相关注意力思路,只是顺带提及,没有给出评价。
“the other one that comes to mind is this one from same authors:”