FusionEval：首个针对大模型融合的基准测试发布，专注专家能力保留与计算成本评估

摘要：ArXiv发布了一款名为FusionEval的基准测试工具，用于评估大语言模型（LLM）融合方法的效果。FusionEval通过提供受控的专家池，测试融合方法在推理能力、工具使用和计算成本方面的表现。其核心创新在于对长链推理和工具使用的全面覆盖，并针对不同融合方法（有无额外训练）提供统一评估框架。实验表明，无训练方法在推理性能上表现良好，但在工具使用上显著下降，而MOPD方法在工具使用上表现更优，但需要额外的数据准备和训练成本。FusionEval为未来高效模型融合研究提供了重要支持。

---

核心突破

ArXiv近日发布了一款名为FusionEval的基准测试工具，旨在评估大语言模型（LLM）融合方法的效果。FusionEval的核心创新点包括：

1. 受控专家池：FusionEval提供了由Qwen3和Llama基础模型独立训练的领域专家池，涵盖数学、代码、科学、指令跟随和工具使用等多个领域。

2. 全面评估框架：该基准测试不仅关注平均性能，还特别强调长链推理和工具使用的评估，以避免因平均性能掩盖个别专家能力的损失。

3. 融合方法测试：FusionEval测试了有无额外训练的不同融合方法，并报告了标准化平均和最差性能、运行时间以及峰值GPU内存使用情况。

技术机制剖析

FusionEval通过以下方式实现了对模型融合的深入评估：

• 专家池构建：专家池由Qwen3和Llama基础模型在多个领域独立训练而成，确保了专家能力的独立性和多样性。

• 融合方法整合：FusionEval整合了多种融合方法，包括无训练方法和需要额外训练的方法（如MOPD），并通过统一评估框架进行对比。

• 多维度评估：评估指标包括推理性能、工具使用能力、运行时间和GPU内存使用情况，全面反映了模型融合的实际效果。

工程权衡与实测表现

实验结果表明：

• 无训练方法：在推理性能上表现良好，但在工具使用上显著下降。这表明无训练方法在保留专家能力方面存在局限性。

• MOPD方法：在工具使用上表现更优，但需要额外的数据准备和训练成本。这表明MOPD方法在保留工具使用能力方面具有优势，但需要更高的计算资源。

开发者落地与部署建议

FusionEval为开发者提供了以下建议：

• 选择合适的融合方法：根据具体应用场景和资源限制选择合适的融合方法。例如，在资源受限的情况下，可以优先考虑无训练方法；而在需要高精度工具使用时，则应选择MOPD等需要额外训练的方法。

• 关注长链推理和工具使用：在评估模型融合效果时，应特别关注长链推理和工具使用的表现，而不仅仅是平均性能。

• 优化计算成本：FusionEval的评估框架可以帮助开发者更好地理解不同融合方法的计算成本，从而进行优化。

结论

FusionEval为未来高效模型融合研究提供了重要支持，其全面评估框架和受控专家池为开发者提供了宝贵的参考。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-24)

—— 完 ——

主题标签： #FusionEval 关注 #模型融合 关注 #基准测试 关注 #大语言模型 关注 #计算成本 关注