智客 ZICQ
EN 登录 / 注册
智客前沿 算力架构 #NVIDIA Photonics #CPO #Lambda #AI集群 #GB300 NVL72

Lambda以NVIDIA CPO交换机扩展万卡AI工厂互连

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Lambda已在生产级AI工厂中部署NVIDIA Photonics共封装光学(CPO)交换机,以连接超过1万块GPU的GB300 NVL72机架。每台交换机提供144个800Gb/s端口;Lambda称,测试中网络时延在机架级下降约4%、Pod级最多下降约10%,吞吐与可插拔光模块方案持平。架构把光电转换靠近交换芯片,将电路径从英寸缩至毫米,并以18组可现场更换的外部光源供光。官方称功耗效率最高提升5倍、可靠性最高提升15倍、光源数量减少4倍;这些数据仍需独立测试及绝对功耗、成本核算验证。


部署事实:从光模块试点进入万卡生产网络

Lambda已将NVIDIA Photonics共封装光学交换机用于连接GB300 NVL72机架,整体规模超过1万块GPU。每台交换机配备144个800Gb/s端口;按端口单向标称速率简单相加,相当于115.2Tb/s原始端口带宽,但这并不等同于扣除协议开销、拥塞和计算重叠后的应用有效吞吐。

这项部署的意义不只在于端口速率。Lambda称,该网络在机架级和Pod级分别部署了可扩展单元,并已在生产AI工厂中运行。不过,公开信息没有给出完整拓扑、交换机数量、光纤距离、带宽超售比、拥塞控制方式或NCCL版本,因此尚不能还原网络对训练任务完成时间的实际贡献。

CPO如何改变交换机的信号路径

传统可插拔光模块方案中,交换ASIC需要经过封装基板、印制电路板、高速连接器和外部光模块,才能把电信号转换为光纤可承载的光信号。速率升至800Gb/s后,较长电气通道会放大插入损耗、反射和均衡难度,Retimer等器件也会增加功耗与故障点。

CPO把光学引擎直接放在交换芯片旁边,使关键电路径从数英寸缩短到数毫米。报道显示,Lambda部署的每台交换机配有18组可现场更换的外部光源,光源通过光纤向封装内光学引擎供光;光学引擎完成电信号与光信号之间的转换。

这一设计带来三项直接变化:

  • 更短的电气通道降低高速信号损耗,并可移除Retimer;
  • 共封装减少封装、主板和光模块中的器件数量;
  • 激光源从光模块中拆出后,可在光源模块故障时单独维护,而不必更换整个可插拔模块。

不过,“光源可更换”并不等于所有CPO故障都可热插拔修复。如果故障位于封装内的光学引擎或交换ASIC,维护粒度仍可能上升到封装乃至整机级。报道也未说明18组光源之间是否支持冗余、故障切换及热插拔。

测试结果:收益主要在时延、功耗与可靠性

以下数据均来自NVIDIA和Lambda披露的内部测试,尚无独立基准:

| 指标 | 官方测试结果 | 工程解读与限制 | |---|---:|---| | 机架级网络时延 | 约下降4% | 属于相对改善,未给出绝对时延、负载模型与统计分布 | | Pod级网络时延 | 最多下降约10% | 未说明收益来自哪一级交换或哪类流量 | | 吞吐 | 与可插拔光模块持平 | CPO并未直接提高带宽,主要价值转向能效和可用性 | | 功耗效率 | 最高提升5倍 | 未说明比较的是光引擎、交换芯片还是整机口径 | | 可靠性 | 最高提升15倍 | 未披露MTBI数值、故障定义、样本量及置信区间 | | 激光器数量 | 减少4倍 | 表明供光架构发生改变,但共享与冗余方式未披露 | | 光学器件中位温度 | 36°C,常规方案为51°C | Liquid Cooling改善散热,Lambda同时报告信号完整性更稳定 |

4%和10%的时延改善不能直接换算成训练吞吐提升。对大模型训练而言,All-Reduce等集合通信会放大尾延迟和网络故障造成的Straggler效应,因此链路切换、同步抖动和拥塞行为往往比平均Ping时延更重要。公开测试没有给出NCCL集合操作、梯度大小、消息分片和作业完成时间,暂不足以证明端到端训练收益。

为什么可靠性与功耗会直接影响AI工厂产出

在万卡训练中,一条关键链路中断就可能让大量GPU等待集合通信完成,网络空转期间仍会占用机柜供电和制冷资源。Lambda提到,面向智能体推理的突发流量也会把局部网络故障扩散为多个代理的级联延迟。

CPO的工程价值因此不只是省电,而是减少光学链路中的故障点,并缩短平均修复时间。更低的交换机功耗可把原本消耗在网络上的功率释放给GPU,较高的MTBI则有助于减少大规模训练重启和智能体服务降级。

但可靠性提升仍需通过故障注入验证。至少应测试外部光源、封装内光学引擎、电源、固件升级、光纤污染和端口重配置等故障,记录检测时间、切换时间、数据重传量、作业中断时间及MTTR。公开数据中的“最高15倍”不能替代这些生产指标。

工程权衡:省电与可维护性并非免费获得

封装与供应链风险

光学引擎与交换ASIC共封装会把芯片制造、光学封装和系统散热更紧密地绑定。任何良率下降、封装缺陷或器件短缺都可能影响整机交付。另一方面,这种垂直整合可以减少传统光模块接口与连接器数量。Lambda的部署说明CPO已具备一定量产和运维能力,但供应链冗余仍未披露。

外部光源带来新的维护对象

传统可插拔方案中,激光器随模块整体失效;CPO则将激光寿命问题集中到外部光源系统。共享光源有助于减少激光器数量,但也会形成新的公共故障域。18组光源如何供电、耦合、监测和轮换,是否存在N加1冗余,是评估真实可靠性的关键。

生态与兼容性成本

CPO交换芯片、光学引擎、外部光源和光纤连接器形成更紧密的厂商生态。其优势是针对目标平台优化信号完整性,代价则是升级换代、跨厂商兼容和备件管理复杂度上升。迁移前还需验证交换机固件、NCCL、拥塞控制、网络遥测及集群运维工具是否完整支持相关端口。

能效收益取决于实际利用率

5倍功耗效率是上限值,不应直接套用到整个AI工厂。只有当网络持续承载大规模训练或高利用率推理流量时,节省的绝对功率才会显著;若链路长期空闲,光学子系统节省的总电量仍然有限。采购评估应同时记录每比特功耗、每GPU网络功率和整机PUE,而不是只比较光模块额定参数。

部署建议:先验证故障与端到端收益

  1. 建立应用级基线。 在相同GB300 NVL72配置下对比CPO与可插拔方案,覆盖All-Reduce、参数服务器或混合并行流量,并同步记录平均时延、P95/P99时延、同步等待时间、作业吞吐和训练完成时间。
  2. 拆分能耗口径。 分别测量交换ASIC、光学引擎、外部光源、Retimer、液冷和整机功耗,换算为Tb/s、每GPU瓦时与每训练Token成本,避免用局部能效倍数推算集群收益。
  3. 执行故障注入。 主动模拟光源失效、光纤断连、端口错误、固件升级和交换机维护,验证冗余路径、流量重路由、集合通信恢复及智能体请求的级联影响。
  4. 分阶段扩大拓扑。 先在单个Pod验证温升、信号完整性、光纤污染控制和备件流程,再扩展到多Pod网络。144端口提供高基数选项,但能否减少网络层级和跳数仍取决于实际拓扑及流量分布。
  5. 补齐TCO模型。 将交换机与光模块采购价、液冷改造成本、外部光源备件、现场更换工时、故障停机损失及下一代速率升级周期统一纳入比较。

Lambda部署证明CPO已经能够进入万卡级生产网络,但当前公开证据更适合支持“方向性可行”,还不足以替代独立性能认证。决定其商业价值的不是局部端口指标,而是CPO能否在真实训练负载中同时降低每GPU能耗、缩小故障停机时间,并把总体拥有成本压到可接受范围。


消息来源:NVIDIA AI News (2026-11-16)

—— 完 ——

主题标签: #NVIDIA Photonics #CPO #Lambda #AI集群 #GB300 NVL72

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…