MAEP按模态剪枝MoE专家，单卡装下约58GB多模态模型

摘要：MAEP提出一种无需训练的多模态MoE专家剪枝框架，在单次前向传播中拆分视觉与文本模态的专家重要性。方法以Delta-H Output衡量移除专家后MoE输出的重分配变化，并用低注意力视觉Token作为稳定的视觉侧剪枝信号，文本侧重要性则用于保护语言能力。论文在三种MoE多模态模型上报告，剪除约27GB BF16专家权重后，约58GB模型可装入单张40GB GPU，同时在多数多模态基准上优于模态无关基线并保持文本任务竞争力。

---

技术突破：不再把视觉与语言专家重要性混在一起

MAEP（Modality-Aware Expert Pruning）针对MoE多模态大语言模型中专家权重占比过高的问题。论文指出，在InternVL3.5-30B-A3B和Qwen3-VL-30B-A3B这类模型中，BF16专家参数约占54GB，而完整模型约58GB。虽然每个Token只激活少量专家，未激活专家不贡献当前计算，却仍需常驻显存，直接限制单卡部署。

现有专家剪枝方法通常把所有Token的重要性汇总成单一分数。这会忽略一个关键事实：同一专家对视觉Token和文本Token可能承担不同角色。视觉侧不常用的专家，未必适合因语言任务表现而保留；反之亦然。MAEP因此把专家重要性拆成视觉与文本两条路径，并在单次前向传播中完成估计，不需要重新训练模型。

核心机制：Delta-H与低注意力视觉Token

MAEP包含两个相互配合的信号。

第一是Delta-H Output（ΔH）。该指标衡量移除某个专家后，MoE输出发生的变化。相比只统计路由频率或门控概率，ΔH能够反映路由器把负载重新分配给其他专家后，模型输出是否发生结构性变化。不过，移除专家导致的输出偏移并不天然等于性能损失，因此该指标仍需要结合任务评测确定剪枝阈值和候选集合。

第二是低注意力视觉Token。论文发现，这类Token上的专家重要性排序在不同数据集之间保持稳定，可作为视觉侧剪枝信号。文本侧的重要性则不直接用于激进删除，而是作为保护信号，避免为了压缩视觉模块而损伤语言理解与生成能力。

在具体流程上，MAEP先执行一次前向传播，分别收集视觉和文本侧的专家重要性，再跨层汇总、排序并执行剪枝。跨层全局排序能够避免逐层机械采用相同剪枝比例，但也要求权重、专家编号与路由器结构在部署前严格对齐。

内存收益与工程权衡

论文报告，在三种MoE多模态模型上，MAEP可减少约27GB BF16专家权重，相当于原模型约47%的总内存，使约58GB模型的完整权重能够装入单张40GB GPU。对企业私有化部署而言，这比单纯把权重从BF16量化到FP8或INT8更有吸引力：MAEP不改变张量精度，也不要求重新训练或蒸馏。

但“装进显存”不等于“无需分页”。部署时还需要预留KV Cache、视觉编码器、激活值、通信缓冲区和运行时开销。假设剪枝后静态权重约31GB，在40GB卡上用于KV Cache的剩余空间仍然有限。长上下文、多并发和视觉Token密集任务可能因此出现显存不足，或被迫采用权重分页、CPU卸载与较低批处理规模。

另一个权衡是路由稳定性。删除专家会改变门控分布，路由器随后可能把原本承担的负载集中给剩余专家，增加“路由塌缩”或热点专家的风险。ΔH显式考虑重分配，有助于降低静态输出偏移，但不能完全消除长尾Token上的分布漂移。生产部署应额外监测专家负载熵、路由分布偏移和关键Token子集上的输出方差。

评测表现：压缩收益需结合任务退化判断

论文在三个MoE多模态模型以及多模态、纯文本基准上进行实验，报告MAEP在多数多模态基准上优于模态无关剪枝基线，并在纯文本任务上保持竞争力。视觉侧低注意力Token排序的跨数据集稳定性，也降低了针对单一数据集调参的依赖。

不过，公开导读没有给出各模型的完整逐项分数、置信区间、剪枝后激活专家数以及视觉生成、OCR、图表理解、空间推理等能力的细分结果。不同多模态基准对分辨率、提示模板和答案解析方式较敏感，官方结果不能直接等同于真实业务收益。尤其是安全敏感或高精度视觉任务，仅检查平均准确率可能掩盖小样本类别和长尾场景的退化。

独立复现时至少应同时报告：静态权重与运行时峰值显存、首Token延迟、每Token延迟、并发吞吐、路由热点、多模态任务准确率、文本任务回退幅度，以及同一数据集剪枝与跨数据集剪枝的稳定性。

开发者落地建议

1. 先复现单次前向的重要性采集：确认视觉Token与文本Token的划分、路由专家索引及跨层聚合方式，避免把生成模板或特殊Token误归为视觉样本。
2. 采用分层剪枝而非一次删满：先剪视觉侧低重要性专家，再逐步扩大比例，并保留一个未剪枝检查点用于快速回滚。
3. 同步验证路由与任务质量：除基准分数外，持续记录每层专家负载、最大负载占比、输出分布漂移和拒绝回答率。
4. 预算KV Cache余量：按真实图像分辨率、历史对话长度和目标并发量测量峰值显存，而不是只比较静态权重文件大小。
5. 保留精度回退方案：若单卡部署仍紧张，可进一步采用FP8或INT8量化，但要分别评估视觉编码器、路由器和语言主干对数值误差的敏感性。

MAEP的核心价值并非把参数量做小，而是用模态差异化信号删除对主要任务贡献较小的专家。它为MoE多模态模型提供了一条训练成本较低、部署门槛更明确的压缩路径，但最终是否值得采用，仍取决于业务视觉任务的质量退化与实际并发显存预算。

---

消息来源：Hugging Face Daily Papers (2026-11-04)

—— 完 ——

主题标签： #MoE架构 关注 #多模态大模型 关注 #专家剪枝 关注 #模型压缩 关注 #单GPU部署 关注