【论文速记】DualPath:把 Agent 推理的“带宽墙”拆掉,吞吐与 SLO 同时改善
·
一句话结论:值得追。这篇论文的价值在于把“推理性能优化”升级为“系统级流量与路径治理”,对企业 Agent 平台是可执行的工程解法。
A. 研究问题
多轮 Agent 推理已从“算力瓶颈”转向“数据搬运瓶颈”。在 disaggregated 架构下,KV-Cache 的读写与传输容易造成 prefill 拥堵、decode 空闲,最终拖垮吞吐并放大时延抖动。
B. 核心贡献
-
明确指出 Agentic 推理阶段的关键约束来自存储带宽与路径分配,而非单纯 FLOPs。 -
提出 DualPath:在既有路径外增加 storage→decode→RDMA→prefill 的协同通道。 -
配套全局调度器,动态平衡各阶段负载,在提高吞吐的同时控制 SLO 退化风险。
C. 方法/框架
• 路径层:构建双路径传输机制,减少单链路拥塞。
• 调度层:按阶段压力与队列状态分发流量。
• 系统层:围绕线上服务目标进行端到端优化,而不是只优化单点算子。
D. 关键结果
• 离线吞吐提升最高约 1.87×;
• 在线 serving 提升最高约 1.96×;
• 在性能提升同时尽量维持服务级别目标(SLO)稳定。
E. 产业启示
•Agent 基础设施进入“带宽工程时代”:企业上线 Agent 不再只看模型能力,要把数据路径和缓存调度纳入核心建设。
• 可直接落地在推理平台改造:适用于高并发、多轮交互、长上下文业务场景,尤其是 ToB 的生产级代理系统。
F. 一句话判断
这篇论文的价值在于把“推理性能优化”升级为“系统级流量与路径治理”,对企业 Agent 平台是可执行的工程解法。
(正文结束)
— END —
更多推荐



所有评论(0)