智客 ZICQ
EN 登录 / 注册
智客前沿 算力架构 #NVIDIA #Microsoft Azure #Vera Rubin NVL72 #Nemotron 3.5 #云边端AI

英伟达联手微软扩展全栈AI:Rubin进Azure,Nemotron入Foundry

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:英伟达与微软在 Ignite 宣布扩展全栈合作:Azure 将预览 Vera Rubin NVL72 实例,并把机密计算与 MaxLPS 协同优化纳入机架级基础设施;Foundry 新增 Nemotron 3.5、可编程后训练、自定义权重部署及检索、解析与安全组件。部署面延伸至 Azure Local、Windows PC、Jetson 与 RTX Spark,BioNeMo、ALCHEMI 则接入 Microsoft Discovery。公开数据包括 Azure 以 10,240 块 GB200 训练 DeepSeek-V3,以及 GB300 在 DeepSeek-R1 交互吞吐上的领先幅度。核心价值在云边端链路整合,而非单一模型突破;预览容量、后训练成本与跨环境一致性仍待验证。


事件核心:Azure、Foundry 与端侧执行面同时扩展

这不是一次单独的基础模型发布,而是 NVIDIA 与 Microsoft 把三层能力接入同一条交付链路:Azure 提供机架级加速计算,Microsoft Foundry 承接模型选择、后训练与部署,Azure Local、Windows PC 和 Jetson 则承接靠近数据的执行任务。其工程意义在于减少模型从实验环境迁移到生产环境时的接口、权限与运维摩擦,而不是提供一项新的 SOTA 模型分数。

本次扩展覆盖三类主要变化。第一,Azure 虚拟机将提供由 NVIDIA Vera Rubin NVL72 系统驱动的预览实例,并将机密计算与 MaxLPS 协同优化扩展到裸机和机架级基础设施。第二,Foundry 获得更多 Nemotron 3.5 模型、可编程后训练和自定义权重部署能力。第三,部署边界从云端延伸到 Azure Local、RTX PRO 6000 Blackwell、Jetson Thor 与 Orin、RTX Spark,以及 Microsoft Discovery 内的科学 AI 工具链。

Vera Rubin NVL72:机架成为算力与安全边界

NVL72 的关键意义不只是增加 GPU 数量,而是把一机架视为一个高带宽、低延迟的 scale-up 域。模型并行一旦跨 GPU 展开,每层计算都可能触发集合通信;互联拓扑、路由拥塞、节点故障和 collective 同步抖动都会成为实际吞吐瓶颈。机架级设计可以缩短跨卡数据路径,但不能消除通信量、内存压力和故障恢复成本。

对长上下文或高并发服务,KV Cache 的内存近似可写为:

KV_bytes ≈ 2 × L × H_kv × S × B × b

其中 L 为层数,H_kv 为 KV 头的总维度,S 为序列长度,B 为并发请求数,b 为每个数值元素占用字节数。GQA 可以降低 H_kv,前缀缓存和分页调度可以减少重复存储,但在上下文持续增长时,KV Cache 仍可能比权重更早触及容量上限。此次公告没有披露 Rubin 的显存容量、互联带宽或上下文规格,因此不能仅凭 NVL72 命名推算其真实并发能力。

机密计算与远程证明是此次更新的另一条工程主线。双方计划把保护从单台虚拟机推进到裸机和机架级 AI 基础设施,使客户在释放模型、数据或密钥前验证执行环境。真正落地仍需解决多节点证明链、密钥轮换、固件信任边界、网络传输保护和集合通信中的端点认证问题;硬件加密与证明校验带来的开销也未在公告中量化。

MaxLPS 合作则针对受限电力下的有效吞吐。合理的评测单位应是“满足相同 SLA 时的有效 Token 或任务吞吐除以整机能耗”,而不是单看峰值 FLOPS 或每个机架的额定功率,否则节能改进很容易被更高性能掩盖。

Dynamo 与强化学习 Rollout:吞吐优先的推理路径

Microsoft AI 已使用 NVIDIA Dynamo 支撑后训练中的强化学习 rollout inference。Rollout 阶段会并行生成大量交互轨迹,推理系统不仅要提高单请求效率,还要处理不同轨迹长度不一致、工具调用耗时差异和批量完成时间参差造成的尾部延迟。

在这一场景中,Dynamo 的职责包括跨 GPU 集群协调推理、管理请求、调度模型更新以及处理故障恢复。对预填充与解码进行不同资源调度,可以分别缓解计算密集型和显存带宽密集型阶段的阻塞;但如果跨节点迁移 KV Cache,则会增加网络传输与序列化开销,故障重试也可能重复执行昂贵的前置计算。公告没有披露 Microsoft 的具体并行拓扑、缓存策略或量化配置,因此不能把 Dynamo 的一般能力直接换算成此次部署收益。

稳态解码吞吐可以粗略表示为:

Q ≈ B / t_token

其中 B 是有效并发序列数,t_token 是每个迭代的有效 Token 间隔。真实服务还要计入排队、采样、重试和请求长度分布。后训练期间频繁更新权重还会带来版本切换问题:老请求持有旧 KV Cache,新请求使用新权重,若没有平滑排空机制,就可能出现短暂的一致性或缓存失效问题。微软同时使用 RTX PRO 6000 Blackwell 加速 Bing 搜索模型,说明其内部路线并非只依赖超大规模数据中心,也包括工作站级 GPU 上的专用检索与推理任务。

Foundry:把后训练、模型权重和部署连成闭环

Microsoft Foundry 的 Programmed Training 是一项可编程后训练服务。开发者可以定义数据处理、训练、评测和迭代流程,而 Foundry 管理底层计算资源;Managed Compute 随后支持部署自定义模型权重。相比单纯上传一个经过微调的检查点,这种模式的价值在于把数据治理、行为评测和上线版本放进同一控制链路。

Nemotron 3.5 的产品分工也更清晰:Super 面向长时间运行的编码、研究与业务智能体,Lightning 面向低延迟响应和工具调用;Embed 与 Rerank 负责召回和重排,Parse 面向文档结构化抽取,Content Safety 处理有害内容。Bolt 与 Transcribe 尚属即将推出状态,不能视为当前可用能力。

EY 使用 Programmed Training 适配 NVIDIA Nemotron 开放模型,对企业采购记录进行分类,官方称其评估集准确率提高 55%,成本较专有前沿模型降低 15 倍。这是有吸引力的任务级案例,但尚不足以证明普遍优势:公告没有披露基础模型、数据规模、指标定义、专有模型版本、重复实验方差或全流程成本。生产选型仍应在自有数据、相同质量门槛和相同调用量下复测。

可编程后训练也有明显权衡。托管服务降低了集群编排门槛,却可能隐藏硬件型号、并行策略和软件版本差异;如果训练数据来自多租户控制面,还要验证区域驻留、加密边界、检查点访问权限与删除机制。若结果需要复现,应固定基础模型、数据快照、提示模板、超参数、随机种子和评测集,而不能只保存最终权重。

Azure Local、Jetson 与 RTX Spark:分层执行而非一套配置通吃

Azure Local 将支持 RTX PRO 6000 Blackwell,并扩展到 Jetson Thor 和 Jetson Orin,用于机器视觉、机器人和自主运行;NVIDIA Cosmos 等物理 AI 模型也会进入 Foundry Local。Windows RTX Spark 则用于展示本地大语言模型应用。

端侧部署的首要约束通常是权重、KV Cache、运行时工作区和热设计功耗。权重本身约占 参数量 × 每参数字节数,此外还需为 KV Cache、视觉编码器、上下文长度和运行时缓冲区留出空间。Nemotron 3.5 Super 与 Lightning 没有公布参数量、上下文上限和量化规格,因此无法判断它们分别适合哪一级本地设备。合理路径是先依据最长真实上下文计算峰值内存,再比较 FP16、INT8 或更低比特量化带来的准确率损失,并测量持续负载下的温升、频率衰减和冷启动时间。

Windows 365 Cloud PC 的 Direct Stream 则是另一条路径:它面向 GPU 加速的图形串流,目标是承载两路 4K、60 fps 的低延迟画面,目前仅开放有限预览,公共预览计划在 2027 年初推出。这一能力证明的是图形与交互体验,不是本地大模型吞吐量,也不应与 RTX Spark 上的模型推理混为一谈。

科学 AI:候选生成进入平台,实验验证仍是终点

BioNeMo Agent Toolkit 和 ALCHEMI Toolkit 将进入 Microsoft Discovery 目录,分别覆盖生命科学、药物发现、材料与化学科学。BioNeMo 允许科学家用自然语言编排计算生物学工作流,智能体负责协调工具调用与模型调用。首个集成使用与华盛顿大学蛋白质设计研究所合作开发的 RFD4-Proteina,生成候选蛋白质结构与氨基酸序列,供后续评估和实验验证。

这类系统适合扩大候选空间,但生成结构不等于获得稳定构象,也不等于具备药物活性。生产研究仍需验证新颖性、序列与结构一致性、实验可复现性、负结果处理以及湿实验闭环;智能体自动调用多个模型和工具还会放大错误传播,因此每一步都应保留工具参数、模型版本和证据链。

公开证据能证明什么

| 公告或结果 | 证据类型 | 可以支持的结论 | 不能支持的结论 | |---|---|---|---| | Azure 提供 Vera Rubin NVL72 预览实例 | 官方预览公告 | Rubin 正进入 Azure 交付链路 | Rubin 的性能、成本、容量和 GA 时间 | | Azure 以 10,240 块 GB200 训练 DeepSeek-V3 | MLPerf Training v6.1 | Azure 可运行大规模训练并完成系统级提交 | 该集群具有最佳性能每瓦或最低成本 | | Azure 的 GB300 在 DeepSeek-R1 交互吞吐中领先逾 10% | MLPerf Inference v6.1、Signal65 分析 | 在相关云提交配置下交互吞吐领先 | 所有场景延迟更低、成本更优或 Rubin 必然领先 | | EY 准确率提高 55%、成本降低 15 倍 | 单一客户案例 | 开放模型在特定任务上存在适配潜力 | 结果可泛化到其他行业、模型或数据分布 | | Direct Stream 支持两路 4K60 | 有限预览规格 | 存在明确的图形串流设计目标 | 大模型推理性能或公共预览可用性 |

开发者落地建议

  1. 把 Rubin 预览当容量与兼容性测试,而非 GA 承诺。 先确认区域配额、实例规格、镜像支持、故障域和计费方式,再决定是否迁移训练或推理任务。
  2. 建立统一性能口径。 同时记录 TTFT、TPOT、p99 延迟、有效并发、Tokens/s、每百万 Token 成本和每瓦吞吐;不同 MLPerf 场景或不同系统配置不能直接拼接比较。
  3. 为 Foundry 后训练建立可追溯性。 固定基础模型与数据快照,隔离训练和验收集,保留检查点、评测脚本与回归门禁,并按质量达标后的实际成本选择开放模型或专有模型。
  4. 验证机密计算信任链。 检查证明新鲜度、密钥生命周期、多机架网络与 GPU 端点认证,测量加密和证明开销;仅有 attestation 不足以替代运行时监控。
  5. 端侧部署先做内存与热预算。 以最长上下文和突发并发计算 KV 峰值,再评估量化精度、持续吞吐和降频行为,避免只用首 Token 延迟判断可用性。
  6. 科学 AI 保留实验闸门。 把模型生成的蛋白、分子和材料候选视为待验证假设,严格执行结构检查、计算复算和湿实验验证。

结论

这次合作的价值在于把 Vera Rubin 机架级基础设施、Nemotron 模型、可编程后训练、自定义权重部署和本地执行环境串成统一路径,而不是单纯增加一项 GPU 型号。当前最硬的公开数据仍来自 GB200 与 GB300,Rubin 预览本身尚无可复核的性能与成本数据。对企业而言,合理路径是先在 Foundry 上验证定制收益,再以自有任务评估 Azure、Azure Local 与边缘设备之间的数据治理、网络成本、尾延迟和能耗边界。


消息来源:NVIDIA AI News (2026-11-19)

—— 完 ——

主题标签: #NVIDIA #Microsoft Azure #Vera Rubin NVL72 #Nemotron 3.5 #云边端AI

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…