Xing 4全栈解析:昇腾训练2850亿参数与TeleGym智能体后训练
摘要:Xing 4是TeleChat技术线面向昇腾平台演进的新一代模型系列,报告同时覆盖稀疏激活、注意力、深度与宽度、推测解码,以及基于MindSpore HyperParallel的预训练栈。其核心规模证据是2850亿参数模型在8192张昇腾910C上完成预训练:拓扑感知混合分片、分布式优化器、长序列与激活显存协同管理共同缓解系统瓶颈。后训练侧推出TeleGym,以异步解耦执行、有界过采样和部分Rollout支撑异构智能体任务。当前摘要未给出质量基准、训练成本或公开权重,模型能力仍需独立验证。
Xing 4:昇腾原生大模型与智能体后训练的全栈设计
核心结论:规模证据不等于能力证据
Xing 4不是一次单点模型升级,而是把架构选择、昇腾预训练基础设施和智能体后训练放进同一套工程设计。摘要中可确认三项核心事实:模型系列延续TeleChat技术线;一个2850亿参数版本在8192张昇腾910C上完成预训练;TeleGym负责连接智能体执行、评测、轨迹构造与策略优化。
其中,8192卡训练是明确的系统规模证据,说明报告不只停留在架构草图层面,但没有质量得分、预训练Token量、训练周期、MFU、能耗或成本。标题中的Frontier定位也不能替代统一基线下的能力验证,现阶段更可靠的结论是:Xing 4提供了一套面向昇腾的大规模训练与智能体后训练工程样板。
模型架构:容量、带宽与执行开销的联合设计
Xing 4把稀疏激活、注意力结构、模型深度与宽度、推测解码放在同一权衡框架中,而非分别追求更大的参数量或更深的网络。
若稀疏激活采用专家路由式FFN,每个Token只激活部分专家,可显著减少前向与反向计算,但总成本并不会按激活比例同比下降:All-to-All通信、路由不均衡和专家负载偏斜都可能形成新的Straggler。摘要未披露专家数量、Top-k路由、容量因子及负载均衡损失,因而不能判断其有效计算利用率。
注意力设计需要同时考察计算与缓存。稠密自注意力的核心计算仍近似为O(B × h × S²);FlashAttention一类核融合方法可以避免显式落地完整注意力矩阵,但不能消除长序列的二次计算复杂度。KV Cache的近似占用为2 × B × L × S × H_kv × bytes,其中H_kv是每个注意力头的键值维度。Xing 4是否采用分组查询、滑动窗口或其他注意力变体,摘要没有说明,不能仅凭模型规模推断。
深度增加会扩大流水线并行和优化器状态管理难度,宽度增加则通常加重张量并行通信及激活峰值。推测解码可降低目标模型单步验证成本,但其收益取决于草稿接受率。若每次接受概率近似为常数α,每个验证周期生成k个草稿Token时,理想情况下的期望输出长度约为E[L] = (1 - α^(k+1)) / (1 - α);实际还要扣除草稿模型开销、批处理干扰和验证Kernel开销。摘要没有给出接受率或端到端吞吐,因而不能把推测解码直接换算为性能提升。
8192张昇腾910C背后的系统工程
2850亿参数仅以BF16保存就约需570GB;若采用典型Adam式训练,FP32主参数、动量和方差约占3.42TB,额外FP32梯度缓冲约1.14TB。这只是不含激活、临时工作区与检查点的示意值,却解释了为什么优化器状态必须随并行维度分片,而不能简单复制到每张卡。
MindSpore HyperParallel在此承担四项关键工作:
- 拓扑感知混合分片:将张量并行、流水线并行、数据并行等逻辑网格映射到物理互联,降低跨节点集合通信。摘要没有给出具体并行比例或TP、PP、DP、SP配置,因而无法计算通信占比。
- 分布式优化器执行:把参数更新与优化器状态切分到不同设备,减少每卡驻留内存,但会引入参数同步、归约顺序和数值一致性成本。
- 长序列与激活显存协同管理:长上下文会同时放大注意力计算和中间激活。通过序列切分、激活重计算或分阶段卸载,可以压低峰值显存,但重计算会额外增加算力消耗。
- CPU亲和性与核心隔离:固定训练进程与集合通信线程的CPU位置,可减少NUMA跨节点访存、主机调度抢占和通信线程抖动。其价值通常体现在尾延迟与长时间训练稳定性,而不是平均Token吞吐。
因此,8192卡代表可扩展训练规模,却不能直接换算为训练效率。真正需要验证的是Tokens/s/GPU、MFU、集合通信占比、峰值HBM占用、检查点时间以及故障恢复后的性能损失。
TeleGym:处理智能体轨迹的异步后训练
智能体后训练的瓶颈不仅是策略网络的前向与反向计算,还包括工具调用、环境等待和任务时长差异。TeleGym用三项机制拆解这一瓶颈:
- 解耦异步执行:将Rollout Worker与策略学习器解耦,长任务不会阻塞整个批次,能够隐藏工具调用和环境I/O的等待时间。
- 有界过采样:限制待消费轨迹数量,避免Worker无限生成旧策略样本。过采样越高,吞吐可能越高,但策略滞后与算力浪费也会同步增加。
- 部分Rollout:在策略更新边界保留可继续执行的任务状态,避免每次更新都丢弃长轨迹。不过,跨版本拼接会引入Off-Policy偏差,生产实现必须记录策略版本、轨迹段ID和采样时间,并对陈旧样本实施重要性修正或保守裁剪。
对于带工具的智能体,评测器本身也会成为奖励污染源。环境状态是否可快照、失败任务能否重放、奖励函数是否可被工具输出规避,都会直接影响策略优化质量。TeleGym把执行、评测和轨迹构造统一起来,但摘要没有给出奖励一致性、长任务成功率或样本效率数据。
实测表现:当前能确认与不能确认的边界
采集摘要能够确认285B参数与8192张昇腾910C的训练规模,也确认了HyperParallel与TeleGym的系统组成;无法确认的指标包括:
- 模型质量:MMLU、AIME、代码、工具调用、长程智能体等基准均未披露,无法判断Xing 4相对同规模闭源或开放模型的真实差距。
- 训练效率:缺少预训练Token量、训练时长、MFU、每卡吞吐、通信开销与总成本,不能把卡数直接视为效率优势。
- 推理性能:缺少上下文长度、KV Cache占用、首Token时延、生成吞吐、推测解码接受率和尾延迟数据。
- 后训练收益:缺少有界过采样比例、陈旧策略容忍度、部分Rollout成功率及与同步基线的配对结果。
- 复现条件:采集材料未说明权重、代码、许可证、数据配方及完整并行配置是否开放。
官方称其面向Frontier Agentic Models,但在基准缺失的情况下,这应被视为产品或研究定位,而不是已被独立验证的能力结论。
工程权衡:吞吐、样本新鲜度与可复现性
- 稀疏计算与通信:减少激活专家可降低FLOPs,却可能让不均衡路由抵消收益;验收应报告负载分布和All-to-All时间,而不只是Tokens/s。
- 长序列能力与显存:KV Cache和注意力临时空间随上下文快速膨胀。更长窗口只有在质量、时延与峰值显存上均可接受,才具有实际价值。
- 异步吞吐与策略滞后:TeleGym允许Rollout与学习并行,但样本越陈旧,奖励越可能偏离当前策略;有界队列只是保护机制,不等于消除偏差。
- 训练规模与复现门槛:8192卡环境难以被多数团队复现。即便未开放完整训练栈,分片策略、激活管理、算子兼容与故障恢复设计仍可单独验证。
开发者落地建议
对于已有昇腾与MindSpore基础设施的团队,优先复现实验应围绕三条主线展开:先对不同序列长度测量HBM峰值、集合通信占比和MFU;再固定目标模型与语料,对比朴素数据并行、混合分片和分布式优化器的端到端成本;最后为TeleGym增加策略版本追踪、陈旧样本上限、奖励审计和环境状态快照。
推理侧应把推测解码视为条件性优化,必须同时记录草稿接受率、目标模型验证耗时、批处理吞吐和P95/P99时延。智能体后训练则应将任务成功率、工具调用正确率、奖励作弊率及每次成功任务的Token与Wall-clock成本放在同一张验收表中。
对于非昇腾平台开发者,这套工作的直接可用性可能有限,但混合分片、激活显存治理和异步轨迹执行仍是可迁移的设计参考。在获得完整论文、模型权重、训练配置与独立评测之前,不宜仅凭285B参数规模或8192卡部署将Xing 4纳入生产选型。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-11-17)
主题标签: #TeleChat #Xing 4 #昇腾910C #MindSpore HyperParallel #TeleGym
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区