AWS发布Ray LLM DLC：支持多节点大语言模型推理的容器化解决方案

摘要：AWS推出了Ray LLM Deep Learning Containers (DLC)，这是一款专为多节点大语言模型推理设计的容器化解决方案。该方案通过分离预填充（prefill）和解码（decode）阶段，利用NIXL和EFA技术实现高效的节点间通信，从而优化推理性能并减少资源竞争。Ray LLM DLC集成了vLLM作为推理引擎，并提供OpenAI兼容的API接口，简化了开发者部署复杂推理工作负载的流程。

---

核心突破

AWS最新发布的Ray LLM Deep Learning Containers (DLC)旨在解决多节点大语言模型推理中的关键挑战。该方案通过以下方式实现了性能优化：

1. 预填充与解码分离：将LLM推理分为预填充（prefill）和解码（decode）两个阶段，分别在不同的GPU节点上运行，避免了资源竞争并提升了整体吞吐量。

2. 高效节点间通信：利用NVIDIA Inference Transfer Library (NIXL)和Elastic Fabric Adapter (EFA)技术，实现节点间的高带宽、低延迟通信，确保KV缓存的快速传输。

3. 容器化部署：Ray LLM DLC作为预构建的Docker镜像，集成了完整的推理栈，包括框架、依赖项和GPU库，简化了部署流程并减少了配置错误的风险。

4. OpenAI兼容API：通过内置的Ray Serve LLM库，Ray LLM DLC提供了一个OpenAI兼容的API接口，使得开发者无需修改应用代码即可快速集成。

技术机制剖析

Ray LLM DLC的核心在于其对多节点推理工作负载的精细化处理。具体来说：

• 预填充阶段：负责处理整个输入提示并构建KV缓存。该阶段是计算密集型的，适合在配备强大GPU的节点上运行。

• 解码阶段：逐个生成token并读取和扩展KV缓存。该阶段对内存带宽要求较高，因此需要优化节点间的数据传输。

通过分离这两个阶段，Ray LLM DLC能够根据每个阶段的特性选择合适的硬件配置，从而提升整体性能。此外，NIXL和EFA的结合使用，确保了KV缓存在节点间的快速传输，避免了数据传输成为瓶颈。

工程权衡与实测表现

Ray LLM DLC的部署需要权衡以下因素：

• 硬件成本：多节点部署需要更多的GPU资源，增加了硬件成本。

• 网络带宽：节点间通信对网络带宽要求较高，需要确保EFA的可用性。

• 模型大小：对于超大模型，可能需要进一步采用模型并行策略（如张量并行或流水线并行）来分摊负载。

根据AWS的测试，使用Ray LLM DLC部署Qwen3.5-9B模型，在g6.8xlarge实例上实现了高效的推理性能。模型加载时间从145秒缩短至约2秒，显著提升了推理效率。

开发者落地与部署建议

对于希望部署多节点推理工作负载的开发者，以下是一些建议：

1. 评估硬件需求：根据模型大小和推理负载，选择合适的GPU实例类型和数量。

2. 配置网络环境：确保EFA在集群中的可用性，并配置相应的VPC和安全组。

3. 优化KV缓存传输：根据实际负载调整NIXL的配置参数，以获得最佳性能。

4. 监控与调优：使用AWS提供的监控工具，实时监控推理性能，并根据需要进行调整。

结论

Ray LLM DLC为多节点大语言模型推理提供了一种高效、灵活的解决方案。通过分离预填充和解码阶段，并利用NIXL和EFA技术，Ray LLM DLC能够显著提升推理性能并降低资源消耗，为开发者提供了强大的工具来应对复杂的推理工作负载。

---

消息来源：AWS Machine Learning Blog (2026-10-12)

—— 完 ——

主题标签： #AWS 关注 #Ray 关注 #LLM 关注 #推理优化 关注 #容器化 关注