arXiv发布ExFold框架:加速MoE模型推理效率,突破预填充与解码瓶颈
摘要:arXiv发布了一种名为ExFold的新训练无关专家折叠框架,旨在加速混合专家(MoE)模型的预填充(prefill)和解码(decode)阶段推理效率。ExFold通过将预填充和解码视为一个受限输出近似问题,仅执行特定阶段的专家子集,并使用标量投影器将排除专家的贡献映射到保留专家上,从而实现加速。该方法在vLLM中以插件形式实现,实验表明其可将TTFT(首次令牌到达时间)提升1.41倍,TPOT(每个令牌的推理时间)提升2.45倍,同时保持原始模型平均质量的99%。这项研究为解决MoE模型在低延迟服务中的性能瓶颈提供了创新思路。
核心突破
- 统一加速框架:ExFold是首个针对MoE模型预填充与解码的统一加速框架,通过将两个阶段视为受限输出近似问题,实现高效推理。
- 标量投影器技术:通过在无标签数据上校准的标量投影器矩阵,将排除专家的贡献映射到保留专家上,解决了现有方法仅优化单一资源代理的局限性。
- 性能提升显著:在vLLM中实现插件化部署,实验结果显示TTFT提升1.41倍,TPOT提升2.45倍,同时保持99%的原始模型质量。
技术亮点
- 双阶段优化:预填充阶段采用令牌级Top-K折叠,解码阶段采用批量级专家池折叠,两阶段仅在保留专家选择方式上有所不同。
- 高效实现:ExFold采用轻量级CUDA内核实现,确保在保持高性能的同时降低计算开销。
- 跨阶段共享机制:排除专家的贡献通过共享折叠机制恢复,简化了系统设计并提升了效率。
行业影响
ExFold框架的提出为MoE模型在低延迟服务中的应用提供了新的解决方案,特别是在需要高吞吐量和低延迟的场景中,如实时对话系统、实时翻译和流式推理任务等。该框架的创新性在于其能够同时优化预填充和解码阶段的性能,填补了现有加速方法在多阶段优化上的空白。
开发者建议
- 集成建议:开发者可以将ExFold作为插件集成到现有的MoE模型推理框架中,以提升推理效率。
- 资源管理:建议在资源受限的环境中优先使用ExFold,以充分利用其加速优势。
- 持续优化:未来可以进一步探索ExFold在不同模型架构和任务上的适用性,并结合其他加速技术(如量化、剪枝)实现更优的性能提升。
—— 完 ——消息来源:ArXiv Machine Learning (cs.LG) (2026-08-27)
主题标签: #ExFold #MoE架构 #推理加速 #vLLM #训练无关
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区