按年被提到
20262026 · 5 次2026
系统、数据库与网络›计算机体系结构与硬件·arXiv:2602.21548 · cs.DC

DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference

DualPath:打破智能体式 LLM 推理中的存储带宽瓶颈
Yongtong Wu, Shaoyuan Chen, Yinmin Zhong, Rilin Huang, Yixuan Tan, Wentao Zhang, Liyue Zhang, Shangyan Zhou, Yuxuan Liu, Shunfeng Zhou, Mingxing Zhang, Xin Jin 等 13 人 · 2026

双路径加载 KV-Cache,缓解智能体推理的存储带宽瓶颈

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2026-02-26 · 最近 2026-06-24
5不同的人
3活跃月份
5讨论串
1被引(OpenAlex)

多轮智能体推理的性能越来越受 KV-Cache 存储 I/O 而非计算限制:在 prefill/decode 分离架构中,prefill 引擎的存储网卡带宽饱和,decode 引擎的却闲置。DualPath 新增“存储到 decode 引擎”的加载路径,再经计算网络用 RDMA 传给 prefill 引擎,并配合全局调度器平衡负载;在三个模型和生产级智能体负载上,离线吞吐最高提升 1.87 倍,在线吞吐平均提升 1.96 倍且不违反 SLO。

HN 为什么提它

输入中只有一条摘录:评论者借它指出智能体式推理的瓶颈在 KV-Cache 存储 I/O,而不是计算本身。

方法难度 4 / 5约 40 分钟经得起时间
读之前最好知道
1LLM 推理中的 KV-Cache
2prefill/decode 分离式(disaggregated)推理架构
3RDMA 与数据中心网络
4请求调度与负载均衡

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用evil-olive · 2026-06

“here is the problem the paper identifies:”

指出论文发现的问题所在
DeepSeek Just Solved AI's Billion Dollar Problem [video]原评论 ↗
被提交为 story · 4 次