Hugging Face提出训练无关MoE剪枝新方法：优化专家替换与路由语义

摘要：Hugging Face发布了一种新的训练无关专家剪枝方法，重点解决稀疏专家模型（MoE）中专家替换与路由语义的关键问题。该方法通过固定掩码，比较了三种替换操作符在不同模型上的表现，并引入了'tilted novice'，一种低秩映射方法，在50%剪枝率下显著提升了模型性能。研究还指出，幸存专家的门控尺度对最终结果影响最大，并提出了一套五项评估清单以规范相关研究的报告标准。

---

1. 研究背景与动机

在稀疏专家模型（MoE）中，训练无关的专家剪枝是一种有效的模型压缩方法。然而，现有方法在决定剪除哪些专家以及如何处理被剪除专家的路由选择时，通常会同时改变多个参数，导致难以单独评估每个决策的影响。

2. 方法与创新

Hugging Face的研究团队提出了一种新的训练无关专家剪枝方法，其核心创新点包括：

• 固定掩码比较：通过固定剪枝掩码，比较了三种不同替换操作符（均值替换、重新路由和部分复制）在OLMoE、DeepSeek-V2-Lite和Moonlight模型上的表现，并引入Granite作为第四个路由选择。
• 幸存专家的门控尺度：研究发现，幸存专家的门控尺度对最终结果影响最大。在未进行top-k重归一化的路由器上，重归一化幸存专家的门控会导致性能下降，而在已进行重归一化的路由器上，训练后的尺度在50%剪枝率下表现最佳。
• tilted novice方法：引入了一种名为'tilted novice'的低秩映射方法，其零秩情况对应于MoNE的常数。在50%剪枝率下，该方法在OLMoE和Moonlight模型上分别提升了3.45和1.37个百分点。

3. 实验与结果

实验结果表明，没有一种操作符在所有情况下都表现最佳。例如，在DeepSeek-V2-Lite模型上，训练后的尺度重新路由表现最佳，而在其他模型上，'tilted novice'与部分复制操作符在统计上无显著差异。此外，评估方法也会影响结论：在25%剪枝率下，MoNE的常数在多项选择任务中保留了92-97%的准确率，但在GSM8K和代码评分任务中仅保留了5-65%和0-17%的性能。

4. 未来工作与建议

研究团队提出了一个五项评估清单，以规范训练无关MoE剪枝研究的报告标准，包括：

1. 明确剪枝率和替换操作符的选择。
2. 报告幸存专家的门控尺度调整方法。
3. 提供详细的模型性能评估，包括不同任务的准确率。
4. 讨论评估方法对结果的影响。
5. 公开实验数据和代码以促进可重复性研究。

5. 结论

该研究为训练无关的MoE剪枝提供了新的见解和工具，特别是在专家替换和路由语义方面。'tilted novice'方法的引入为模型性能提升提供了新的可能性，而五项评估清单则为未来的研究提供了规范化的指导。

---

消息来源：Hugging Face Daily Papers (2026-10-30)

—— 完 ——

主题标签： #Hugging Face 关注 #MoE架构 关注 #模型剪枝 关注 #训练无关 关注 #专家替换 关注