引用evil-olive · 2026-06
“here is the problem the paper identifies:”
指出论文发现的问题所在
双路径加载 KV-Cache,缓解智能体推理的存储带宽瓶颈
多轮智能体推理的性能越来越受 KV-Cache 存储 I/O 而非计算限制:在 prefill/decode 分离架构中,prefill 引擎的存储网卡带宽饱和,decode 引擎的却闲置。DualPath 新增“存储到 decode 引擎”的加载路径,再经计算网络用 RDMA 传给 prefill 引擎,并配合全局调度器平衡负载;在三个模型和生产级智能体负载上,离线吞吐最高提升 1.87 倍,在线吞吐平均提升 1.96 倍且不违反 SLO。
输入中只有一条摘录:评论者借它指出智能体式推理的瓶颈在 KV-Cache 存储 I/O,而不是计算本身。
“here is the problem the paper identifies:”