引用Tostino · 2023-06
“As is increasing the "working memory" (context size) in a more efficient manner: Landmark Attention”
举它为例,说明更高效地扩大上下文这一方向
用地标token选块,让注意力直接检索超长上下文
论文为输入的每个块引入一个 landmark token,并训练注意力用它来挑选相关块,从而在保留随机访问整个上下文能力的同时,直接通过注意力机制检索,不再依赖独立的检索模块。该方法与 Transformer-XL 表现相当但每步检索的 token 更少,并把 LLaMA 7B 微调后扩展到 32k 以上的上下文长度。
HN 评论把它当作“更高效地扩大模型工作记忆(上下文长度)”的一种思路来引用,用来说明可通过随机访问注意力处理超长上下文。
“As is increasing the "working memory" (context size) in a more efficient manner: Landmark Attention”
“(perhaps addressed via LandmarkAttention[2])”