智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Hugging Face #MoE架构 #长上下文训练 #内存优化

Hugging Face提出四项优化技术解决MoE训练中的内存峰值问题

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 7 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Hugging Face的研究团队提出了一种名为PipelinedLLEP、Ring-DTP、SCO和OffloadStreamAdamW的四种新技术,用于解决在长上下文或大批量训练Mixture-of-Experts (MoE) 模型时面临的内存峰值问题。这些技术通过固定GPU工作集、优化计算顺序和数据移动粒度,显著降低了不同组件的内存峰值,同时保持了模型训练的精确性和吞吐量。实验结果表明,这些方法在多个基准测试中表现出色,削减了MoE调度峰值高达59.3%,词汇投影峰值高达86.6%,并使优化器步骤加速了2.05倍。


背景与挑战

在长上下文或大批量训练Mixture-of-Experts (MoE) 模型时,内存峰值问题成为主要瓶颈。当任一组件的峰值内存分配超过设备容量时,训练过程就会失败。现有并行计划无法有效控制以下四个关键组件的内存增长:

  • 专家调度:通过路由矩阵实现
  • 词汇投影:与token数量和词汇表大小相关
  • 梯度检查点边界:与深度和序列长度相关
  • 优化器状态:与参数数量相关

技术方案

Hugging Face的研究团队提出了四项创新技术:

  1. PipelinedLLEP:扩展了最少负载专家并行性,通过限制每个源对调度块的贡献token数量来控制峰值。
  2. Ring-DTP:在词汇投影阶段,通过环形传递激活或权重分片,并将每组logits折叠为在线log-sum-exp。
  3. 选择性检查点卸载(SCO):将每个检查点边界的长寿命张量保留在CPU内存中。
  4. OffloadStreamAdamW:将串行CPU Adam更新过程转换为桶式流水线。

这些方法通过重新安排计算和数据移动的顺序和粒度,确保了损失和梯度的精确性,同时有效降低了内存峰值。

实验结果

在匹配组件测试中,这些技术:

  • 将MoE调度峰值削减了高达59.3%,且未损失吞吐量。
  • 将词汇投影峰值削减了86.6%。
  • 使优化器步骤加速了2.05倍。

在120B到667B参数的MoE模型上,这些方法能够在1M上下文长度下进行训练,达到8到32倍于调优FSDP2基线的吞吐量。

行业影响与开发者建议

这些技术的提出为长上下文和大模型训练提供了新的优化方向,尤其在资源受限环境下具有重要意义。开发者可以参考以下建议:

  • 评估模型内存使用:在训练前分析模型各组件的内存需求,优先优化峰值瓶颈。
  • 结合硬件特性:根据GPU和CPU的内存特性,选择合适的优化技术组合。
  • 持续监控与调整:在训练过程中实时监控内存使用情况,并根据需要调整优化策略。

消息来源:Hugging Face Daily Papers (2026-09-13)

—— 完 ——

主题标签: #Hugging Face #MoE架构 #长上下文训练 #内存优化

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…