智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #ExFold #MoE架构 #推理加速 #vLLM #训练无关

arXiv发布ExFold框架:加速MoE模型推理效率,突破预填充与解码瓶颈

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 4 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv发布了一种名为ExFold的新训练无关专家折叠框架,旨在加速混合专家(MoE)模型的预填充(prefill)和解码(decode)阶段推理效率。ExFold通过将预填充和解码视为一个受限输出近似问题,仅执行特定阶段的专家子集,并使用标量投影器将排除专家的贡献映射到保留专家上,从而实现加速。该方法在vLLM中以插件形式实现,实验表明其可将TTFT(首次令牌到达时间)提升1.41倍,TPOT(每个令牌的推理时间)提升2.45倍,同时保持原始模型平均质量的99%。这项研究为解决MoE模型在低延迟服务中的性能瓶颈提供了创新思路。


核心突破

  • 统一加速框架:ExFold是首个针对MoE模型预填充与解码的统一加速框架,通过将两个阶段视为受限输出近似问题,实现高效推理。
  • 标量投影器技术:通过在无标签数据上校准的标量投影器矩阵,将排除专家的贡献映射到保留专家上,解决了现有方法仅优化单一资源代理的局限性。
  • 性能提升显著:在vLLM中实现插件化部署,实验结果显示TTFT提升1.41倍,TPOT提升2.45倍,同时保持99%的原始模型质量。

技术亮点

  1. 双阶段优化:预填充阶段采用令牌级Top-K折叠,解码阶段采用批量级专家池折叠,两阶段仅在保留专家选择方式上有所不同。
  2. 高效实现:ExFold采用轻量级CUDA内核实现,确保在保持高性能的同时降低计算开销。
  3. 跨阶段共享机制:排除专家的贡献通过共享折叠机制恢复,简化了系统设计并提升了效率。

行业影响

ExFold框架的提出为MoE模型在低延迟服务中的应用提供了新的解决方案,特别是在需要高吞吐量和低延迟的场景中,如实时对话系统、实时翻译和流式推理任务等。该框架的创新性在于其能够同时优化预填充和解码阶段的性能,填补了现有加速方法在多阶段优化上的空白。

开发者建议

  • 集成建议:开发者可以将ExFold作为插件集成到现有的MoE模型推理框架中,以提升推理效率。
  • 资源管理:建议在资源受限的环境中优先使用ExFold,以充分利用其加速优势。
  • 持续优化:未来可以进一步探索ExFold在不同模型架构和任务上的适用性,并结合其他加速技术(如量化、剪枝)实现更优的性能提升。

消息来源:ArXiv Machine Learning (cs.LG) (2026-08-27)

—— 完 ——

主题标签: #ExFold #MoE架构 #推理加速 #vLLM #训练无关

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…