按年被提到
20232023 · 4 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2305.16300 · cs.CL

Landmark Attention: Random-Access Infinite Context Length for Transformers

Landmark Attention:Transformer 的随机访问无限上下文
Amirkeivan Mohtashami, Martin Jaggi · 2023

用地标token选块,让注意力直接检索超长上下文

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2023-05-27 · 最近 2024-03-28
5不同的人
3活跃月份
5讨论串
27被引(OpenAlex)

论文为输入的每个块引入一个 landmark token,并训练注意力用它来挑选相关块,从而在保留随机访问整个上下文能力的同时,直接通过注意力机制检索,不再依赖独立的检索模块。该方法与 Transformer-XL 表现相当但每步检索的 token 更少,并把 LLaMA 7B 微调后扩展到 32k 以上的上下文长度。

HN 为什么提它

HN 评论把它当作“更高效地扩大模型工作记忆(上下文长度)”的一种思路来引用,用来说明可通过随机访问注意力处理超长上下文。

方法难度 4 / 5约 40 分钟有时效性
读之前最好知道
1Transformer 与自注意力机制
2Transformer-XL 与循环记忆
3KV 缓存与内存层级
4LLaMA 等大语言模型的微调

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用Tostino · 2023-06

“As is increasing the "working memory" (context size) in a more efficient manner: Landmark Attention”

举它为例,说明更高效地扩大上下文这一方向
On the Catastrophic Risk of AI原评论 ↗
引用AaronFriel · 2024-03

“(perhaps addressed via LandmarkAttention[2])”

提到 Landmark Attention 或许能解决这个问题
LLMs use a surprisingly simple mechanism to retrieve some stored knowledge原评论 ↗
被提交为 story · 3 次