智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #NIXL #LLM #路由策略 #GPU优化 #解耦架构

NIXL提出基于校准的路由策略,革新LLM服务性能

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 7 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:NIXL团队提出了一种基于校准的路由策略,用于解耦的LLM服务架构。该策略通过精确的提示长度、预测输出长度、后置KV缓存压力以及SLO类别来估算每个实例的额外完成时间,并在离散事件模拟器中开发并验证了该策略。实验结果表明,该方法在多种混合、突发流量场景下实现了最高的平均吞吐量(0.864),并显著降低了延迟波动性,超越了轮询、最小负载和长度启发式方法。


研究背景与挑战

解耦的LLM服务架构将计算密集型的预填充(prefill)和内存密集型的解码(decode)操作分配到不同的GPU池中。尽管像DistServe、Splitwise和Mooncake这样的系统已经实现了这种分离,但路由策略仍然决定了每个请求由哪些实例处理。

主要创新

NIXL团队提出了一种基于校准的路由策略,通过以下方式估算每个实例的额外完成时间:

  • 精确的提示长度:根据输入提示的长度进行精确计算。
  • 预测输出长度:预测输出的长度以优化资源分配。
  • 后置KV缓存压力:评估KV缓存的占用情况。
  • SLO类别:根据服务级别目标(SLO)进行分类。

该策略在离散事件模拟器中开发,并在八块NVIDIA A40 GPU上进行验证,每块GPU运行vLLM引擎,通过NIXL在池之间传输KV缓存。所有工作负载在测量的饱和度下运行。

实验结果

在三种混合、突发流量场景下,基于校准的路由策略实现了最高的平均吞吐量(0.864),相比之下,轮询、最小负载和长度启发式方法的吞吐量在0.835到0.847之间。该策略还展示了最低的跨场景波动性,在所有三个场景中均优于轮询和长度启发式方法,并在两个场景中优于最小负载方法。在第三个场景中,它仅落后0.003,低于运行间的噪声。

硬件校准的重要性

硬件校准至关重要:使用模拟器派生的常数会导致4.5个吞吐量点的损失,并使尾部延迟优势减少约40%,使评分器几乎沦为简单的队列计数。随着解码池大小和流量异质性的增加,收益也会增加,但在只有三个实例的池中,队列计数通常已经足够。在极端稀缺情况下,贪婪的成本最小化会将请求集中在得分最低的实例上,而盲目分散则表现更好。

结论

通过校准成本,学习型路由策略使用六块GPU即可达到轮询方法使用七块GPU的吞吐量,展示了其在资源利用效率上的显著优势。


消息来源:ArXiv AI (cs.AI) (2026-09-16)

—— 完 ——

主题标签: #NIXL #LLM #路由策略 #GPU优化 #解耦架构

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…