智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #NVIDIA #Vera Rubin NVL72 #AI推理 #智能体 #能效优化

NVIDIA发布Vera Rubin NVL72:AI智能体推理效率提升30倍

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 8 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:NVIDIA推出了全新的Vera Rubin NVL72系统,专注于提升AI智能体推理的能效表现。该系统通过创新的硬件架构与软件优化,在处理复杂智能体任务时实现了高达30倍的吞吐量提升和35倍的token成本降低。Vera Rubin NVL72利用先进的Tensor Cores、Transformer Engine和NVLink技术,为AI工厂提供了更高效、更经济的推理解决方案,尤其适用于对能源效率要求极高的场景。


NVIDIA发布Vera Rubin NVL72:AI智能体推理效率提升30倍

NVIDIA近日推出了全新的Vera Rubin NVL72系统,旨在解决AI智能体推理中的效率瓶颈问题。随着AI智能体在各个行业的应用日益广泛,其对计算资源的需求也急剧增加。Vera Rubin NVL72通过以下几项关键技术实现了性能的重大突破:

技术亮点

  1. 硬件架构创新:

    • NVL72 Scale-Up Domain:通过高带宽、低延迟的GPU互联技术,实现了跨GPU的高效协作。
    • 第五代Tensor Cores与第三代Transformer Engine:加速了推理过程中的预填充(prefill)和解码(decode)阶段。
    • NVFP4量化:将模型权重压缩至4位精度,在不影响输出质量的前提下,显著提升了吞吐量并降低了内存占用。
  2. 软件优化:

    • Disaggregated Serving:将上下文处理与响应生成分离,使两者能够独立扩展。
    • Rate Matching:同步预填充GPU和解码GPU的token生成速度,以最大化效率。
    • 大规模专家并行性:在GPU域中分布专家子网络,以支持混合专家模型的高效运行。
    • 分布式KV缓存:扩展内存并通过KV缓存卸载将不活跃的上下文转移到主机和存储中,减少重复计算。
    • KV感知路由:将请求定向到已缓存相关上下文的GPU,减少长会话中的冗余计算。
  3. 性能提升:

    • 30倍吞吐量提升:与NVIDIA GB300 NVL72相比,Vera Rubin NVL72在处理智能体任务时实现了高达30倍的吞吐量提升。
    • 35倍token成本降低:大幅降低了每百万token的成本,使得AI智能体能够以更低的成本持续运行。

行业影响

Vera Rubin NVL72的发布标志着AI推理基础设施的重大进步,尤其适用于AI工厂和大规模智能体部署场景。其高效能设计不仅能够降低运营成本,还能提升AI智能体的整体性能,为企业带来更高的投资回报率。

开发者建议

对于AI开发者而言,Vera Rubin NVL72提供了一个强大的平台,可以加速智能体应用的开发和部署。建议开发者关注以下几点:

  • 优化智能体架构:充分利用Vera Rubin NVL72的硬件和软件优化特性,设计高效的智能体架构。
  • 关注能源效率:在设计AI应用时,考虑能源消耗问题,利用Vera Rubin NVL72的优势实现更环保的AI解决方案。
  • 探索混合专家模型:利用NVL72对大规模专家并行性的支持,探索混合专家模型的应用潜力。

结论

Vera Rubin NVL72的推出为AI智能体推理带来了革命性的变化,其高效能设计为AI应用的大规模部署提供了坚实的基础。


消息来源:NVIDIA AI News (2026-08-24)

—— 完 ——

主题标签: #NVIDIA #Vera Rubin NVL72 #AI推理 #智能体 #能效优化

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…