按年被提到
20232024 · 2 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2309.06180 · cs.LG

Efficient Memory Management for Large Language Model Serving with PagedAttention

基于 PagedAttention 的大语言模型服务高效显存管理
Woosuk Kwon, Zhuohan Li, Siyuan Zhuang, Ying Sheng, Lianmin Zheng, Cody Hao Yu, Joseph E. Gonzalez, Hao Zhang, Ion Stoica · 2023

借鉴操作系统分页管理 KV 缓存,vLLM 的核心论文

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2023-09-14 · 最近 2026-02-02
4不同的人
6活跃月份
6讨论串
2,069被引(OpenAlex)

LLM 服务需要大批量并发请求,但每个请求的 KV 缓存巨大且动态变化,碎片和重复拷贝会浪费显存、限制批大小。论文提出受操作系统虚拟内存与分页启发的 PagedAttention,并据此构建 vLLM,使 KV 缓存几乎零浪费,并能在请求内部和请求之间灵活共享。评测显示在相同延迟下,vLLM 相比 FasterTransformer 和 Orca 等系统将吞吐提升 2–4 倍。

HN 为什么提它

HN 上的人把它当作理解 LLM 推理服务和 KV 缓存管理的入门起点,并把 PagedAttention 视为 vLLM 的核心思想来引用。

方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1Transformer 与注意力机制
2KV 缓存(KV cache)
3操作系统虚拟内存与分页
4GPU 显存与批处理推理

学习路径

读这篇之前,按顺序读书架上的 1 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

候选里只有 FlashAttention 与 PagedAttention 直接相关,两者都是围绕注意力的显存与访存效率做优化。

  1. 1
    FlashAttention: Fast and Memory-Efficient Exact Attention with IO-AwarenessFlashAttention:具备 IO 感知的快速且省内存的精确注意力 · 2022

    同样是从 GPU 显存层级角度优化注意力的工作,帮你建立显存与访存的直觉

    读分块计算和 IO 感知的核心思想;跳过证明与反向传播细节

  2. 2
    Efficient Memory Management for Large Language Model Serving with PagedAttention基于 PagedAttention 的大语言模型服务高效显存管理 · 2023 · 就是这篇

    目标论文:把操作系统分页思想用在 KV 缓存上,解决碎片和重复占用

    读KV 缓存为什么浪费显存、PagedAttention 的分块映射,以及 vLLM 的调度与共享

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐AaronFriel · 2024-05

“The PagedAttention paper is a good starting point”

推荐 PagedAttention 论文作为了解大规模 LLM 推理服务的好起点
Gemini Flash原评论 ↗
引用AaronFriel · 2024-03

“With PagedAttention[1], we could imagine an external service providing context.”

借 PagedAttention 设想由外部服务来提供上下文
LLMs use a surprisingly simple mechanism to retrieve some stored knowledge原评论 ↗
引用jmorgan · 2025-01

“A great example of this is vLLM's PagedAttention implementation [1]”

以 vLLM 的 PagedAttention 为例,说明 KV cache 显存可以动态管理
Qwen2.5-1M: Deploy your own Qwen with context length up to 1M tokens原评论 ↗
引用jbarrow · 2026-02

“For instance, it goes into (nano)vLLM internals and doesn’t mention PagedAttention once (one of the core ideas that vLLM is based on)[1].”

批评文章讲了 vLLM 内部实现却一次没提 PagedAttention 这一核心思想
Nano-vLLM: How a vLLM-style inference engine works原评论 ↗
被提交为 story · 2 次