NVIDIA Vera Rubin首秀MLPerf:训练全胜与十倍能效提升
摘要:NVIDIA在MLPerf Training v6.1首次亮相Vera Rubin NVL72,包揽语言模型、图像生成、推荐系统和强化学习后训练全部基准,单GPU性能最高为GB300 NVL72的两倍。扩展到1024块GPU训练DeepSeek-V3时,官方称效率约97%。MLPerf Endpoints v1.0的Kimi K3任务中,Vera Rubin折算约410.5 token/s/kW,较GB300高逾10倍;但端点成绩仍待MLCommons复核,且两组测试的加速器数量、并发与时延条件不同。
核心结论:领先来自系统级协同,而非单颗 GPU 跑分
Vera Rubin NVL72 在 MLPerf Training v6.1 中成为唯一覆盖全部基准测试类别的平台,单 GPU 性能最高达到 GB300 NVL72 的两倍;在 MLPerf Endpoints v1.0 的代理式任务中,按官方披露的运行点和功耗折算,系统吞吐每千瓦达到 GB300 的约 11.1 倍。真正值得关注的不是某个峰值数字,而是 NVIDIA 把计算、内存、互连、网络与 CUDA 软件栈作为一个完整系统进行代际升级。
训练成绩:覆盖完整,扩展效率更关键
| 测试维度 | Vera Rubin 结果 | 工程含义 | | --- | --- | --- | | MLPerf Training v6.1 | 覆盖 LLM、图像生成、推荐系统和强化学习后训练全部基准 | 优势不局限于单一模型或单一训练阶段 | | 单 GPU 性能 | 最高为高度优化的 GB300 NVL72 的 2 倍 | 新硬件与软件协同已产生可见代际收益 | | DeepSeek-V3 扩展 | 256 卡扩展至 1,024 卡,训练时间由约 16 分钟降至约 4 分钟 | 官方强扩展效率约 97%,大规模通信未明显拖垮吞吐 | | 本轮最大规模 | GB300 与 Azure GB200 达到 10,240 卡 | 该规模结果来自旧一代平台,不能直接外推至 Vera Rubin |
MLPerf Training 并非只比较每秒训练样本,而是测量系统达到指定准确率所需的时间,因此它比单纯 FLOPS 跑分更接近实际训练成本。不过,不同基准仍使用各自的模型、数据集、收敛目标和软硬件优化策略,up to 2x 代表已提交配置中的最佳值,不意味着所有模型、批量大小和序列长度都能获得相同倍率。
端点成绩:每瓦代理吞吐的算法
MLPerf Endpoints 不只统计 Token 生成速度,还检查代理能否正确完成真实编码和企业工作流。根据公开提交数据,可以直接计算系统吞吐每千瓦:
η = system TPS / operating power
| 指标 | Vera Rubin NVL72 | GB300 NVL72 | | --- | ---: | ---: | | 加速器数量 | 32 | 48 | | 并发查询数 | 1,024 | 48 | | TTFT P90 | 4,673.9 ms | 2,305.1 ms | | 系统吞吐 | 41,414.2 Token/s | 2,210.4 Token/s | | 每用户端到端交互速度 | 50.4 Token/s | 56.2 Token/s | | 运行功耗 | 100.89 kW | 60 kW | | 按运行点折算 | 约 410.5 Token/s/kW | 约 36.84 Token/s/kW |
两者折算比值约为 410.5 / 36.84 = 11.14x,对应 NVIDIA 所称的十倍以上代际提升。NVIDIA 的比较采用双方共同满足的每用户 50 Token/s 交互速度作为服务约束,而不是要求原始运行参数完全相同。
原始数据仍需谨慎解读:Vera Rubin 的 TTFT P90 反而高于 GB300,但其并发量高出约 21 倍,因此不能据此断言单请求延迟退化。公开提交也不是严格的同负载 A/B 测试,功耗、批量、精度、缓存状态、软件版本及可用加速器数量均可能影响结果。更关键的是,system TPS / kW 是整机系统效率指标,不能直接等同于芯片级每瓦性能。
技术机制:训练扩展与代理推理为何不同
训练侧:NVLink 扩展与 InfiniBand、Ethernet 跨系统互连
大规模训练时间可以拆成计算、集合通信、流水线气泡、负载不均与故障恢复等部分,这些因素在实际运行中会部分重叠。数据并行和张量并行需要频繁执行 All-Reduce;MoE 训练还可能引入跨节点的 All-to-All 通信。一旦网络延迟或链路抖动无法被计算重叠,扩展效率就会从理论值快速下滑。
Vera Rubin 的系统化优势来自三个层级:机柜或系统内部依靠 NVLink 完成高带宽 GPU 互连,跨系统使用 Quantum-X800 InfiniBand 和 Spectrum-X Ethernet 扩展,再由 CUDA 软件栈处理通信、算子融合和并行调度。1,024 块 GPU 相当于约 14.2 个满配 NVL72 机柜的规模,不能只靠片内或机柜内互连完成。
若用 T(N) ≈ T(1) / N 表示理想强扩展,官方披露的 16 分钟降至约 4 分钟接近四倍理想加速,约 97% 的扩展效率意味着计算、通信和负载不均造成的综合损失较小。不过,公开信息没有给出完整迭代次数、网络拥塞曲线、故障注入结果或重复运行方差,因而不能把这一数字直接用于所有模型和集群拓扑。
推理侧:代理任务把每瓦 Token 变成数据中心指标
代理式工作流通常包含多轮推理、工具调用、结果回填和结果校验,Token 消耗远高于单轮问答。在一般 Transformer 服务中,低批量自回归解码常受内存带宽和访问延迟约束;提高并发后,系统又会转向计算、KV Cache 容量、调度效率及跨卡通信的限制。
因此,代理推理不能只看单请求 Token/s,还要同时观察 TTFT、逐 Token 延迟、并发稳定性、任务成功率和每个成功任务的能耗。更大的 KV Cache 可以保留更多会话上下文,却会占用更多 HBM;连续批处理可以提高系统吞吐,却可能扩大排队延迟;量化能够降低显存和带宽压力,但必须重新验证工具调用、长上下文和任务完成正确性。
Vera Rubin 的端点结果说明,NVIDIA 正把竞争指标从峰值 FLOPS 转向每瓦可完成的代理工作量。对云服务商而言,这比单卡 Token/s 更接近成本收益;对模型和框架团队而言,软件调度是否充分利用新硬件,仍可能决定最终差距。
基准结果的边界
首先,“覆盖全部基准”不等于击败所有潜在竞争方案。它说明 Vera Rubin 是本轮唯一在所有测试类别中提交结果的平台,而不代表未提交系统的实际性能为零。参与提交的 20 家组织主要围绕 NVIDIA 平台展开,AMD、Intel 或其他架构的缺席不能自动转化为胜利。
其次,GB300 的 MLPerf Endpoints 结果已经由 MLCommons 验证,而 Vera Rubin 的该组成绩仍是暂定值,尚待同行审核。原文还提到 SemiAnalysis AgentX 和 Artificial Analysis AgentPerf 上的领先表现,但没有给出数值、配置和复现方法,不能将其视为独立交叉验证。
最后,公开材料没有完整披露 Vera Rubin 的芯片规格、精度设置、编译栈、批量策略、上下文长度、网络拓扑、PUE、冷却方式和采购成本。对于超过 100 kW 的运行点,单看 GPU 指标尤其不完整,因为供配电、液冷、冗余和网络设备都会进入真实 TCO。
工程权衡:更快并不等于更便宜
训练侧的优势会直接缩短实验迭代时间,尤其是需要反复预训练和后训练的大型模型。但构建千卡级集群意味着更高的资本开支、网络故障排查复杂度、checkpoint 存储压力和调度门槛。对多数团队而言,先用单机柜或数十卡集群验证数据管线与收敛稳定性,通常比直接追逐千卡规模更经济。
推理侧同样存在取舍。更高的每瓦吞吐可以降低每个 Token 的边际能耗,却未必满足严格的首 Token 延迟要求。公开运行点中,Vera Rubin 以更高并发换取更高系统吞吐;如果业务要求 P99 TTFT 保持在两秒左右,就必须重新测量,而不能直接套用 4,141 Token/s 的数字。
此外,代理系统的真实成本单位更接近“每个成功任务消耗多少焦耳”,而不是“每千瓦产生多少 Token”。一个吞吐更高但工具调用错误率更高、上下文重试更多的系统,可能反而增加总成本。
开发者与数据中心落地建议
- 先复现业务负载。 使用自有模型、输入输出长度、工具调用轮次和上下文分布测试,不要用单一短提示的 Token/s 代替真实代理工作流。
- 按服务等级约束比较。 同时固定并发量、TTFT P90、每用户交互速度、任务成功率和尾延迟,再比较吞吐与功耗,避免只截取有利运行点。
- 把成功率纳入能效指标。 记录每次成功任务消耗的 Token、GPU 秒数和机架功率,防止高吞吐伴随更多无效重试。
- 单独验证网络扩展。 训练集群应检查集合通信占比、链路带宽、拥塞和故障恢复,而不仅是短时稳态吞吐。
- 计入设施与运维成本。 采购比较应纳入 PUE、液冷改造成本、网络设备、模型切分、checkpoint 存储和运维人员配置。
- 等待暂定结果完成复核。 在 MLCommons 正式验证前,不应把十倍以上端点倍率直接写入采购回报率模型。
Vera Rubin 的 MLPerf 首秀确立了明确的系统级方向:训练侧追求跨千卡扩展效率,推理侧追求每瓦可完成的代理工作量。但十倍端点数字仍属于厂商提交且待复核的暂定结果,最终价值仍要由同负载复现、真实任务成功率和数据中心全成本共同验证。
—— 完 ——消息来源:NVIDIA AI News (2026-11-16)
主题标签: #NVIDIA #Vera Rubin #MLPerf #NVLink #Agentic Inference
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区