SAGE-CP：解决自适应VLM集成中的路径条件失败问题

摘要：SAGE-CP是一种新型自适应视觉语言模型（VLM）集成管道，旨在解决传统方法中因边际覆盖不足导致的路径条件失败问题。通过冻结路由选择并对早期退出和升级输入分别进行校准，SAGE-CP在多个基准测试中显著提升了最差路径的覆盖率（从0.623提升至0.887），同时将路径覆盖率差距从0.324降至0.025。该方法在保持较低计算成本的同时，提供了更强的可靠性保证，并减少了GPU能耗和延迟。

---

背景与问题

自适应视觉语言模型（VLM）集成通过在处理简单图像时提前退出，并在处理复杂图像时升级到更复杂的模型来节省计算资源。然而，这种方法存在一个关键问题：即使最终预测器在边际上有效，特定计算路径仍可能出现严重的失败。这种失败源于边际覆盖与条件覆盖之间的不匹配：如果某条路径的流行度为pi，边际1-alpha覆盖允许其条件覆盖降至max{0, 1-alpha/pi}。

SAGE-CP解决方案

为了解决这一问题，SAGE-CP提出了一种新的集成管道：

1. 路由学习与冻结：在开发数据上学习路由选择，并冻结所有路由选择，以确保路径的稳定性。
2. 校准步骤：对早期退出和升级输入分别进行校准。具体来说，SAGE-CP应用Mondrian分割共形预测（Mondrian split conformal prediction）来对由路由创建的运营组进行校准。
3. 路径级可靠性保证：在交换性条件下，生成的预测集在每条路径上实现了有限样本覆盖。

实验结果

在10个基准测试、4个冻结VLM和5个对齐分割的实验中，SAGE-CP和全局校准均实现了0.900的边际覆盖目标，但路径行为差异显著：

• 最差路径覆盖率：SAGE-CP将平均最差路径覆盖率从0.623提升至0.887。
• 路径覆盖率差距：SAGE-CP将平均路径覆盖率差距从0.324降至0.025。
• 预测集大小：尽管预测集大小从1.893增至2.212，但仍然小于完整集成（2.486），并且每张图像的源调用次数减少了70.6%。

此外，SAGE-CP在6个固定查询分数下保持了路径级可靠性，而更精细的退出深度组表明，在处理罕见路径时需要额外的校准数据。

性能与效率

在5个数据集上，SAGE-CP相对于完整推理过程，批量延迟降低了58.8%至63.4%，GPU能耗降低了55.7%至57.5%。这表明路由不仅提供了计算节省，还通过路径级校准为操作路径附加了覆盖保证。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-10-21)

—— 完 ——

主题标签： #Sagemath 关注 #VLM 关注 #自适应集成 关注 #路径校准 关注 #计算效率 关注