Hugging Face发布SMAT:高效训练专家合并模型的新方法
摘要:Hugging Face 推出了一种名为 SMAT(Simple Merge-Aware Training)的新方法,用于高效训练专家合并模型。该方法通过模拟合并参数优化专家损失和预期损失,结合周期性调度、内核融合和参数存储切换技术,在保持训练时间开销低于 2% 的前提下,显著提升了模型合并后的性能。实验表明,SMAT 在四种语言和视觉-语言模型骨干上均实现了 1.07-2.16 分的提升,为 AI 模型优化提供了新的技术路径。
背景与挑战
模型合并(Model Merging)是一种无需联合重训练即可整合多个专家模型能力的技术。然而,传统的专家训练方法仅优化任务损失,无法保证合并后的性能表现。合并感知训练(Merge-Aware Training, MAT)旨在解决这一问题,但现有方法未能充分考虑常见的合并操作,同时增加了训练成本。
SMAT 方法介绍
Hugging Face 提出的 SMAT 方法通过以下方式解决了上述问题:
- 合并操作的分解与模拟:SMAT 将常见的合并操作分解为三个核心步骤:Scale(重新加权自身更新)、Mask(移除选定坐标)和 Perturb(添加其他专家的更新)。
- 模拟合并参数优化:通过采样缩放系数、掩码和加性噪声生成模拟合并参数,并联合优化专家损失和预期损失。
- 高效训练技术:引入周期性调度、内核融合和参数存储切换技术,使每一步训练仅需一次前向和一次后向传递,从而保持训练开销低于 2%。
实验结果
在四种语言和视觉-语言模型骨干上,SMAT 在五种合并方法上的平均得分相较于最强基线提升了 1.07-2.16 分,展示了其对模型合并性能的显著提升能力。
技术亮点
- 创新性合并操作模拟:通过分解和模拟合并操作,SMAT 提供了更精准的优化方向。
- 高效的训练机制:结合多种技术手段,SMAT 在提升性能的同时控制了训练成本。
- 广泛的适用性:在语言和视觉-语言模型上的成功应用表明了 SMAT 的普适性。
行业影响与开发者建议
SMAT 的发布为 AI 领域带来了新的优化思路,尤其适用于需要高效模型合并的场景,如多专家系统和大模型协作等。开发者可以尝试将 SMAT 应用于现有模型,以提升合并后的性能表现。此外,SMAT 的高效训练机制也为资源受限环境下的模型优化提供了可行的解决方案。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-09-27)
主题标签: #Hugging Face #模型合并 #高效训练 #SMAT
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区