NVIDIA发布Vera Rubin NVL72与Groq 3 LPX:革新AI推理与智能体系统
摘要:NVIDIA宣布其Vera Rubin NVL72平台进入全面生产,并推出Groq 3 LPX推理加速器,旨在为智能体AI系统提供极致的推理性能。Vera Rubin NVL72通过与Spectrum-X Ethernet的协同设计,实现了大规模AI工厂的高效扩展,而Groq 3 LPX则专注于低延迟、高吞吐量的推理任务,显著提升了AI智能体在长上下文处理和实时交互中的表现。此外,NVIDIA还展示了其AI工厂基础设施的全面升级,包括Scale-In架构和NVLink Fusion技术,为AI推理和智能体协作提供了更强大的支持。
NVIDIA发布Vera Rubin NVL72与Groq 3 LPX:AI推理与智能体系统的革新
在AI推理领域,NVIDIA近日宣布其Vera Rubin NVL72平台进入全面生产,并推出了专为智能体AI系统设计的Groq 3 LPX推理加速器。这一发布标志着AI推理技术的重大进步,特别是在长上下文处理和实时交互方面。
主要技术亮点
-
Vera Rubin NVL72平台
- 高性能推理:Vera Rubin NVL72通过与Spectrum-X Ethernet的协同设计,实现了大规模AI工厂的高效扩展。其主要优势包括:
- 低延迟:通过优化网络和推理加速,显著降低了延迟。
- 高吞吐量:支持每秒数千个token的生成,满足智能体AI系统对高吞吐量的需求。
- 可扩展性:能够支持从数据中心到云端的多样化部署场景。
- 高性能推理:Vera Rubin NVL72通过与Spectrum-X Ethernet的协同设计,实现了大规模AI工厂的高效扩展。其主要优势包括:
-
Groq 3 LPX推理加速器
- 低延迟设计:Groq 3 LPX专注于低延迟、高吞吐量的推理任务,通过与Vera Rubin NVL72的协同工作,提供了更快的token生成速度。
- 多层次优化:结合GPU和LPU的优势,通过极端协同设计,实现了AI模型每一层的联合计算,显著提升了推理性能。
- 大规模部署:支持多达256个LP30加速器的机架级部署,通过芯片到芯片的直接连接,创造了高效的推理引擎。
-
Spectrum-X Multiplane网络架构
- 扁平化网络设计:通过将每个服务器的网络连接分割成多个独立的路径,避免了传统三层网络架构的延迟和复杂性。
- 高可靠性:内置硬件引擎能够自动管理流量并绕过故障,确保网络的高可靠性和快速恢复能力。
-
Scale-In架构
- 加速基础设施服务:通过NVIDIA BlueField-4处理器和DOCA软件平台,Scale-In将加速扩展到AI工厂的安全、管理和运营服务中。
- 统一加速域:将传统的南北向访问网络转变为统一的加速基础设施域,提升了AI工厂的效率和安全性。
-
NVLink Fusion技术
- 自定义XPU连接:NVLink Fusion将自定义硅芯片与NVIDIA的AI基础设施平台连接起来,使超大规模和AI原生公司能够构建性能更高、灵活性更强的半定制AI工厂。
- 统一架构:通过标准化基于GPU和XPU的系统,NVLink Fusion帮助数据中心建设与硅芯片的可用性脱钩,提供了更灵活的资源配置方案。
行业影响
NVIDIA此次发布的产品和技术升级,不仅提升了AI推理的性能和效率,还为智能体AI系统的广泛应用奠定了基础。随着AI从训练转向推理和智能体协作,NVIDIA的全栈平台为AI工厂提供了从网络到推理加速的全面优化方案,推动了AI技术在各行业的深入应用。
开发者建议
对于开发者而言,NVIDIA的新产品和技术提供了更强大的工具来构建高效的AI推理系统。以下是一些建议:
- 充分利用Vera Rubin NVL72和Groq 3 LPX的优势:在设计AI推理系统时,考虑使用这些平台以获得更高的性能和更低的延迟。
- 关注Spectrum-X Multiplane网络架构:对于需要大规模部署的AI工厂,评估Spectrum-X Multiplane网络架构的适用性,以实现更高效的网络连接。
- 探索NVLink Fusion技术的应用:对于需要自定义AI工厂的企业,NVLink Fusion技术提供了更高的灵活性和性能。
通过这些工具和技术,开发者可以构建更强大的AI系统,推动AI技术的进一步发展。
—— 完 ——消息来源:NVIDIA AI News (2026-08-24)
主题标签: #NVIDIA #AI推理 #智能体AI #Vera Rubin NVL72 #Groq 3 LPX
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区