LRMoE：内存感知型稀疏专家模型训练系统，显著提升训练效率

摘要：LRMoE是一种针对稀疏专家模型（MoE）的内存感知型训练系统，通过重新校准反向需求和平衡保留工作负载来优化训练效率。该系统在正向执行中规划保留配额和专家放置，同时保留所有路由计算；在反向传播中，通过负载重新校准指标选择token-expert对，并使用容量感知路由算法分配保留对，从而减少通信流量、计算量和执行缓冲需求。实验表明，LRMoE在Qwen3-30B-A3B和GLM4.5-106B-A12B模型上相对于SYMI方法减少了21.2-44.8%的训练时间。

---

技术机制剖析

LRMoE的核心机制包括以下关键步骤：

1. 内存感知的前向执行：在正向传播过程中，LRMoE根据资源约束规划保留配额和专家放置，同时确保所有路由计算被保留。这种方法避免了传统MoE模型中因专家复制导致的内存竞争问题。

2. 负载重新校准的反向传播：在反向传播阶段，LRMoE引入了一种负载重新校准指标，用于评估每个token-expert对专家更新的贡献，并选择贡献较大的对进行保留。这种方法有效地平衡了保留工作负载，避免了不必要的计算和通信开销。

3. 容量感知路由算法：该算法将保留的token-expert对分配给原始专家的合格实例，从而进一步优化通信流量和计算效率。

4. 物理压缩：通过形成更小的通信负载和可变大小的分组GEMMs，LRMoE减少了反向通信流量、计算量和执行缓冲需求。

工程权衡与实测表现

LRMoE在内存使用和计算效率之间取得了良好的平衡。其主要优势在于：

• 训练速度提升：在Qwen3-30B-A3B和GLM4.5-106B-A12B模型上，LRMoE相对于SYMI方法减少了21.2-44.8%的训练时间。

• 内存优化：通过减少专家复制和优化通信负载，LRMoE有效降低了GPU内存的使用压力。

• 可扩展性：该方法适用于大规模MoE模型训练，能够在资源受限的环境中保持高效。

然而，LRMoE的缺点在于其复杂性较高，需要对现有训练流程进行一定程度的修改。此外，负载重新校准和容量感知路由算法的实现可能增加额外的计算开销。

开发者落地与部署建议

对于希望采用LRMoE的开发者，以下是一些建议：

1. 评估现有基础设施：在部署LRMoE之前，评估当前训练基础设施的内存和计算资源，以确保其能够支持LRMoE的需求。

2. 逐步集成：建议逐步集成LRMoE，先在小型模型上进行测试，再扩展到更大规模的模型。

3. 监控性能：在训练过程中，密切监控LRMoE的性能指标，如训练时间、内存使用和计算效率，以便及时调整参数。

4. 优化通信：进一步优化通信负载，例如通过压缩算法或更高效的网络拓扑结构，以提升整体训练效率。

---

消息来源：ArXiv AI (cs.AI) (2026-10-30)

—— 完 ——

主题标签： #LRMoE 关注 #稀疏专家模型 关注 #内存优化 关注 #训练效率 关注