“The PagedAttention paper is a good starting point”
Efficient Memory Management for Large Language Model Serving with PagedAttention
借鉴操作系统分页管理 KV 缓存,vLLM 的核心论文
LLM 服务需要大批量并发请求,但每个请求的 KV 缓存巨大且动态变化,碎片和重复拷贝会浪费显存、限制批大小。论文提出受操作系统虚拟内存与分页启发的 PagedAttention,并据此构建 vLLM,使 KV 缓存几乎零浪费,并能在请求内部和请求之间灵活共享。评测显示在相同延迟下,vLLM 相比 FasterTransformer 和 Orca 等系统将吞吐提升 2–4 倍。
HN 上的人把它当作理解 LLM 推理服务和 KV 缓存管理的入门起点,并把 PagedAttention 视为 vLLM 的核心思想来引用。
学习路径
读这篇之前,按顺序读书架上的 1 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出候选里只有 FlashAttention 与 PagedAttention 直接相关,两者都是围绕注意力的显存与访存效率做优化。
- 1
同样是从 GPU 显存层级角度优化注意力的工作,帮你建立显存与访存的直觉
读分块计算和 IO 感知的核心思想;跳过证明与反向传播细节
- 2Efficient Memory Management for Large Language Model Serving with PagedAttention
目标论文:把操作系统分页思想用在 KV 缓存上,解决碎片和重复占用
读KV 缓存为什么浪费显存、PagedAttention 的分块映射,以及 vLLM 的调度与共享
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“With PagedAttention[1], we could imagine an external service providing context.”
“A great example of this is vLLM's PagedAttention implementation [1]”
“For instance, it goes into (nano)vLLM internals and doesn’t mention PagedAttention once (one of the core ideas that vLLM is based on)[1].”
- Efficient Memory Management for Large Language Model Serving with PagedAttention ↗jmorgan · 2023-09-14 · 13 分
- Efficient Memory Management for Large Language Model Serving with PagedAttention ↗sonabinu · 2025-04-29 · 2 分