Qwen3.8-Flash-Next架构发布：稀疏专家模型性能与效率的突破性提升

摘要：Qwen团队发布了Qwen3.8-Flash-Next，这是一款具有1250亿参数、每token激活60亿参数并额外包含510亿n-gram嵌入表的稀疏专家模型。该模型在14个预训练基准测试中，有8个超越了其3970亿参数的前代版本，其余基准测试中表现差距最多仅为2.6个百分点，同时仅需1/3的激活参数、1/3的训练token和约1/9的训练FLOPs。其架构结合了Gated DeltaNet和全局注意力机制，并引入了Qwen稀疏注意力（QSA）和Gated Residual（GR）设计，显著提升了训练效率和稳定性。此外，Muon优化器的引入进一步优化了学习率和批量大小的选择。Qwen3.8-Flash-Next在效率、能力和稳定性方面实现了全面提升，为稀疏专家模型的发展提供了新的技术路径。

---

架构与技术创新

Qwen3.8-Flash-Next是一款稀疏专家模型，拥有1250亿参数，其中每token激活60亿参数，并额外包含510亿n-gram嵌入表。该模型的架构亮点包括：

• 混合注意力机制：采用Gated DeltaNet（GDN）和全局注意力的层级混合，每四层中包含一层全注意力层。在持续预训练阶段，这些全注意力层被Qwen稀疏注意力（QSA）取代，QSA通过压缩轻量级索引器对微块粒度的上下文进行评分。
• Gated Residual（GR）设计：残差流被扩展为四个分支，并通过逐元素门控读取。这种设计增强了模型的表达能力。
• n-gram嵌入层：在主干外添加了一个n-gram嵌入层，其表从主机内存中预取，进一步提升了模型的容量。

性能与效率

在14个预训练基准测试中，Qwen3.8-Flash-Next在8个测试中超越了其3970亿参数的前代版本，其余测试中表现差距最多仅为2.6个百分点。同时，该模型仅需1/3的激活参数、1/3的训练token和约1/9的训练FLOPs，显著提升了训练效率。

优化与稳定性

Qwen3.8-Flash-Next引入了Muon优化器，优化了学习率和批量大小的选择，消除了批量大小预热的需求，并在压力测试中大幅提升了稳定性。此外，模型在损失和下游准确率之间实现了更好的平衡。例如，扩展n-gram词汇表可以单调降低损失，但下游准确率会趋于饱和。

行业影响与开发者建议

Qwen3.8-Flash-Next的发布标志着稀疏专家模型在效率、能力和稳定性方面的重大突破。其架构和优化技术为AI开发者提供了新的思路，特别是在处理大规模模型训练和推理时。以下是一些建议：

• 关注混合注意力机制的应用：混合注意力机制在提升模型效率方面具有显著优势，开发者可以尝试将其应用于其他模型架构中。
• 探索Gated Residual设计的潜力：GR设计增强了模型的表达能力，开发者可以探索其在不同任务中的适用性。
• 利用Muon优化器的优势：Muon优化器在优化学习率和批量大小方面表现出色，开发者可以将其应用于其他模型的训练中。

结论

Qwen3.8-Flash-Next的发布是AI领域的一次重要进展，其在效率、能力和稳定性方面的提升为稀疏专家模型的发展开辟了新的道路。

---

消息来源：Hugging Face Daily Papers (2026-08-31)

—— 完 ——

主题标签： #Qwen 关注 #稀疏专家模型 关注 #混合注意力机制 关注 #Muon优化器 关注 #训练效率 关注