星宸开源Xing4.0 29B稀疏模型，原生支持256K上下文

摘要：中国电信人工智能科技有限公司旗下XingChen-AGI开源Xing4.0-29B-A4B模型：总参数29B、每Token激活4B，采用64个路由专家、4个激活专家及1个共享专家，原生支持256K上下文并可扩展至512K。模型以MLA、mHC与MTP为基础，面向智能体规划、工具调用和复杂工程推理，并在昇腾910C与MindSpore体系上完成训练栈协同优化。官方数据显示，微调覆盖LLaMA-Factory和MindFormers，推理支持vLLM、SGLang及KTransformers。相关GGUF量化版本也已出现，但官方成绩仍需独立复现。

---

核心发布：29B总参数、4B激活参数的长上下文MoE

Xing4.0-29B-A4B由XingChen-AGI发布，模型谱系由此前的TeleChat更名为Xing。其关键规格为：40层、隐藏维度3584、64个路由专家、每个Token激活4个路由专家，并配置1个共享专家。总参数29B、单Token激活参数4B，意味着推理阶段的矩阵乘规模接近一台4B稠密模型，同时保留29B参数容量带来的专家化知识表达。

模型原生支持256K上下文，官方称可扩展到512K。长上下文能力对代码仓库分析、合同审阅、知识库问答和智能体多步执行尤其重要，但“支持”不等于每个位置都能维持有效召回：长上下文模型通常仍会受到注意力稀释、KV Cache占用和训练数据覆盖不足的影响。实际效果应通过长文档检索、跨轮工具调用及代码库修改任务验证，而不能只看最大窗口标称值。

架构机制：MLA、mHC与MTP的组合

模型使用多层感知机注意力（MLA）压缩键值表示。相比标准多头注意力，MLA通过低维潜变量缓存键和值，在尽量保持注意力质量的同时降低KV Cache开销。粗略而言，自回归推理的显存开销除模型权重外，还近似随层数 × 序列长度 × KV头维度 × KV缓存精度 × 2（K与V）增长；MLA通过压缩潜维度减轻这一部分，但它并不能消除MoE专家权重和长上下文的内存压力。

官方还列出mHC与MTP。MTP（Multi-Token Prediction）通过预测后续多个Token提供额外训练监督，并可用于推理阶段的推测解码候选。mHC通常指对隐藏状态或残差信息流进行层次化约束与压缩的机制，其价值在于控制深层网络中的信息流和优化稳定性。不过，公开导读没有给出mHC的完整公式、状态维度与消融数据，因此目前只能将其视为训练与表示层设计线索，不能量化判断它相对FlashAttention、DeepSeek式MLA或GQA的实际收益。

MoE推理成本：低激活参数不等于低部署门槛

“29B模型、4B激活”描述的是每个Token经过的活跃专家参数，不等于推理时只需加载4B权重。部署系统通常仍需将专家集合或其分片保存在显存、内存乃至磁盘中；Token路由会动态访问不同专家，通信、专家负载不均和缓存命中率可能成为真实瓶颈。

若使用BF16，29B权重仅参数存储就约为58GB，还未计入KV Cache、运行时工作区和量化元数据。GGUF版本可以降低本地显存门槛，但会引入不同位宽和量化方式下的精度损失；Q4、Q5、Q6_K或更高精度不能视为等价替代。应分别测量短提示吞吐、长提示首Token延迟、生成速度、峰值内存以及代码与工具调用任务成功率。

在多卡部署中，专家并行通常按专家或中间层切分，Token在设备间通过All-to-All交换。若专家路由不均衡，部分设备会率先成为关键路径。官方列出的vLLM、SGLang和KTransformers适配能降低接入成本，但具体后端是否完整支持mHC、MTP与256K上下文，需要检查运行时实现和内核版本，而不能只依据模型卡中的兼容清单。

昇腾训练栈：96%吞吐提升意味着什么

官方称，该模型完全基于昇腾NPU与MindSpore框架训练，并通过细粒度MoE通信优化、选择性重计算、DVM自动图算子融合和Ascend C的mHC融合算子，将整体训练吞吐较开箱配置提升约96%。

这组数字更接近优化前后的相对工程增益，而不是“模型速度提升96%”。选择性重计算以额外计算换显存，减少激活驻留；图算子融合可减少中间张量读写和内核启动；细粒度通信优化则针对专家并行中的All-to-All开销。Ascend C融合算子将mHC关键操作下沉到硬件友好的实现，但对收益贡献最大的是哪一项、测试规模多大、是否包含编译时间及数据加载成本，公开信息仍不足。

工程上，这一栈的真正价值是提供一条不依赖CUDA生态的完整训练路径。对于已有昇腾集群的团队，模型、训练框架和融合算子的共同验证可能降低移植风险；但对GPU用户，跨硬件重训或复现的成本较高，“完全在昇腾平台训练”不能直接转译为其他后端的训练效率结论。

官方评测：Agent能力有竞争力，但不是全面领先

官方表格将Xing4.0-29B-A4B与Gemma4-26B-A4B、Qwen3.6-35B-A3B比较。结果显示：

• IFBench：69.67，低于Gemma4的72.67；
• AIME2026：90.00，低于Qwen3.6的92.70；
• SWE-bench Verified：75.00，接近Qwen3.6的76.00，并高于Gemma4的53.00；
• Terminal-Bench 2.1：57.50，高于另外两组；
• Claw-Eval：76.55，高于另外两组；
• DeepresearchBII：60.80，高于另外两组。

这些成绩说明模型在软件工程、终端操作和智能体任务上具备较强竞争力，但并非所有数学、指令遵循和长上下文指标都领先。AIME2026、AA.LCR和SWE-bench Multilingual均低于其中一个对照模型，因此更合理的结论是“面向Agent场景的均衡型配置”，而非全面超越。

评测还存在三项关键限制：首先，未披露推理预算、采样参数和测试基础设施是否一致；其次，官方结果尚未看到独立复现；再次，智能体基准容易受到提示模板、工具实现、轨迹长度和重试策略影响。部署评估应固定模型版本、工具版本、最大Token预算与重试次数，并同时报告成功率、平均成本和P95延迟。

本地部署与Agent集成建议

Reddit条目指向的是bartowski制作的GGUF转换版本，而非模型官方原始权重仓库。量化转换能扩大本地运行覆盖面，但使用者需要核对聊天模板、特殊Token、RoPE缩放和工具调用模板；这些配置不一致通常比数值量化更容易造成长对话漂移或函数调用失败。

建议按以下顺序验证：

1. 使用官方权重或可信转换版本，对照模型卡检查聊天模板、Tokenizer和上下文参数；
2. 在vLLM或SGLang中分别测试短提示吞吐与256K长提示的首Token延迟、KV Cache占用；
3. 使用GGUF时比较Q4、Q5与Q6_K在同一代码基准上的准确率，避免仅以文件体积判断质量；
4. 为智能体任务固定工具协议、轨迹上限和重试策略，记录任务完成率而非只看单轮回答；
5. 在生产环境加入工具参数校验、权限最小化和执行日志，避免长上下文与工具组合放大误操作。

适用边界

Xing4.0-29B-A4B的核心价值不是单纯缩小模型，而是把29B参数容量、4B级激活计算、256K原生上下文、智能体工具链和昇腾训练栈组合到同一发布中。它更适合具备多卡或量化本地部署能力、需要较强软件工程与工具调用能力、同时关注国产NPU适配的团队。对于只处理短文本、显存有限或依赖成熟多模态输入的部署，仍需用真实业务负载比较更轻量或原生多模态方案。

---

消息来源：Reddit r/LocalLLaMA (2026-11-06)

—— 完 ——

主题标签： #Xing4.0 关注 #混合专家模型 关注 #长上下文 关注 #Ascend NPU 关注 #智能体 关注