NVIDIA发布Vera Rubin NVL72:AI智能体推理效率提升30倍
摘要:NVIDIA推出了全新的Vera Rubin NVL72系统,专注于提升AI智能体推理的能效表现。该系统通过创新的硬件架构与软件优化,在处理复杂智能体任务时实现了高达30倍的吞吐量提升和35倍的token成本降低。Vera Rubin NVL72利用先进的Tensor Cores、Transformer Engine和NVLink技术,为AI工厂提供了更高效、更经济的推理解决方案,尤其适用于对能源效率要求极高的场景。
NVIDIA发布Vera Rubin NVL72:AI智能体推理效率提升30倍
NVIDIA近日推出了全新的Vera Rubin NVL72系统,旨在解决AI智能体推理中的效率瓶颈问题。随着AI智能体在各个行业的应用日益广泛,其对计算资源的需求也急剧增加。Vera Rubin NVL72通过以下几项关键技术实现了性能的重大突破:
技术亮点
-
硬件架构创新:
- NVL72 Scale-Up Domain:通过高带宽、低延迟的GPU互联技术,实现了跨GPU的高效协作。
- 第五代Tensor Cores与第三代Transformer Engine:加速了推理过程中的预填充(prefill)和解码(decode)阶段。
- NVFP4量化:将模型权重压缩至4位精度,在不影响输出质量的前提下,显著提升了吞吐量并降低了内存占用。
-
软件优化:
- Disaggregated Serving:将上下文处理与响应生成分离,使两者能够独立扩展。
- Rate Matching:同步预填充GPU和解码GPU的token生成速度,以最大化效率。
- 大规模专家并行性:在GPU域中分布专家子网络,以支持混合专家模型的高效运行。
- 分布式KV缓存:扩展内存并通过KV缓存卸载将不活跃的上下文转移到主机和存储中,减少重复计算。
- KV感知路由:将请求定向到已缓存相关上下文的GPU,减少长会话中的冗余计算。
-
性能提升:
- 30倍吞吐量提升:与NVIDIA GB300 NVL72相比,Vera Rubin NVL72在处理智能体任务时实现了高达30倍的吞吐量提升。
- 35倍token成本降低:大幅降低了每百万token的成本,使得AI智能体能够以更低的成本持续运行。
行业影响
Vera Rubin NVL72的发布标志着AI推理基础设施的重大进步,尤其适用于AI工厂和大规模智能体部署场景。其高效能设计不仅能够降低运营成本,还能提升AI智能体的整体性能,为企业带来更高的投资回报率。
开发者建议
对于AI开发者而言,Vera Rubin NVL72提供了一个强大的平台,可以加速智能体应用的开发和部署。建议开发者关注以下几点:
- 优化智能体架构:充分利用Vera Rubin NVL72的硬件和软件优化特性,设计高效的智能体架构。
- 关注能源效率:在设计AI应用时,考虑能源消耗问题,利用Vera Rubin NVL72的优势实现更环保的AI解决方案。
- 探索混合专家模型:利用NVL72对大规模专家并行性的支持,探索混合专家模型的应用潜力。
结论
Vera Rubin NVL72的推出为AI智能体推理带来了革命性的变化,其高效能设计为AI应用的大规模部署提供了坚实的基础。
—— 完 ——消息来源:NVIDIA AI News (2026-08-24)
主题标签: #NVIDIA #Vera Rubin NVL72 #AI推理 #智能体 #能效优化
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区