Hugging Face发布COMPASS：预训练模型兼容性评估新方法

摘要：Hugging Face提出了一种名为COMPASS（COMPatibility ASsessment Score）的新方法，用于在模型对齐或合并之前评估预训练模型之间的兼容性。COMPASS通过分解为两个计算成本低廉的维度——特定对易用性（k-NN重叠度）和范式级上限（训练范式允许的最大重叠度），为候选模型对提供兼容性排名，并指导后续操作。该方法在72个跨模态对齐实验和392个任务-算术模型合并中表现出色，与下游任务成功率的Pearson相关系数分别达到0.91和0.70，展示了其在提升AI系统构建效率方面的潜力。

---

背景与动机

在构建AI系统时，组合预训练模型是一种常见策略，例如将视觉编码器与语言模型对齐，或合并微调后的模型检查点。然而，找到兼容的模型对通常需要进行昂贵的经验性搜索，因为兼容性只有在实际对齐或合并后才能被确认。

COMPASS方法

Hugging Face提出的COMPASS（COMPatibility ASsessment Score）旨在解决这一问题，通过在模型对齐或合并之前评估其兼容性。COMPASS基于以下观察：表示的收敛性在局部邻域层面最为稳健。

COMPASS将模型兼容性分解为两个计算成本低廉的维度：

1. 特定对易用性（Pair-Specific Ease）：定义为两个编码器之间的k-NN重叠度。
2. 范式级上限（Paradigm-Level Ceiling）：捕捉训练范式允许的最大重叠度。

通过这两个维度，COMPASS为候选模型对提供排名，并指导以下操作：

• 优先考虑已经达成一致且范式兼容的对。
• 对范式兼容但初始一致度低的对投入额外计算资源。
• 当训练范式无法支持足够的一致度时，更换预训练范式。
• 对在两个维度上得分都较低的对进行降级处理。

实验与结果

COMPASS在72个跨模态对齐实验和392个任务-算术模型合并中进行了验证。结果表明，COMPASS的兼容性估计与下游任务成功率高度相关，在跨模态对齐任务中平均Pearson相关系数为0.91，在模型合并中为0.70。这表明COMPASS能够有效预测模型对在下游任务中的表现。

工程权衡与实际应用

COMPASS的优势在于其计算效率高，能够在模型对齐或合并之前提供可靠的兼容性评估。这对于需要频繁组合模型的应用场景（如多模态AI系统）尤为重要。然而，COMPASS的准确性依赖于对训练范式的理解，因此在某些复杂场景下可能需要进一步调整。此外，COMPASS的评估结果应结合具体任务需求进行综合考量。

开发者建议

对于开发者而言，COMPASS提供了一种有效的工具来优化模型组合策略。建议在以下场景中优先使用COMPASS：

• 多模态AI系统的构建。
• 频繁的模型更新与合并。
• 需要快速评估模型兼容性的场景。

通过合理使用COMPASS，开发者可以显著提升AI系统的构建效率与性能。

---

消息来源：Hugging Face Daily Papers (2026-10-13)

—— 完 ——

主题标签： #Hugging Face 关注 #模型对齐 关注 #模型合并 关注 #多模态AI 关注 #AI系统构建 关注