arXiv提出基于蒸馏最优传输的少样本表示对齐方法

摘要：arXiv发布了一种创新的表示对齐方法，通过仅使用100-500对配对数据即可实现跨模态表示对齐。该方法利用配对锚点构建共同坐标系统，并通过熵最优传输问题匹配点云，同时引入边际约束以解决最近邻匹配中的枢纽问题。最终，该方法将最优传输计划蒸馏为两个轻量级编码器，使其能够高效处理图像-文本和分子-文本对齐任务，并在Flickr30k、MS-COCO和ChEBI-20数据集上超越现有方法。

---

技术机制剖析

该研究的核心创新在于提出了一种基于蒸馏最优传输的少样本表示对齐方法。其主要技术步骤如下：

1. 锚点相似性表达：通过将每个表示表达为与$N$个配对锚点的相似性，将两种模态数据映射到共同坐标系统。
2. 熵最优传输匹配：利用熵最优传输问题在整个数据池上匹配两种模态的点云，并通过边际约束解决枢纽问题。
3. 蒸馏轻量级编码器：将最优传输计划蒸馏为两个轻量级编码器，使得对齐过程具有归纳性，无需对所有数据点进行配对。

工程权衡与实测表现

• 优势：该方法显著降低了配对数据需求，仅需少量配对锚点即可实现高效对齐，节省了标注成本和计算资源。
• 挑战：在处理大规模数据时，最优传输问题的计算复杂度较高，可能成为性能瓶颈。此外，锚点的选择对最终结果有重要影响，如何选择高质量的锚点仍需进一步研究。

实验结果表明，该方法在图像-文本和分子-文本对齐任务中表现优异。在Flickr30k和MS-COCO数据集上，该方法在相同锚点预算下超越了现有方法，展示了其在跨模态对齐中的潜力。

开发者落地与部署建议

• 应用场景：该方法适用于需要跨模态对齐的场景，如多模态大语言模型、图像-文本检索和分子-文本匹配等。
• 部署建议：由于最优传输问题的计算复杂度较高，建议在部署时采用并行计算或近似算法以提升效率。此外，可以结合预训练模型进一步提升对齐精度。

结论

该研究为少样本表示对齐提供了一种新的思路，展示了其在多模态任务中的巨大潜力。未来的研究可以进一步优化最优传输问题的求解方法，并探索更有效的锚点选择策略。

---

消息来源：ArXiv AI (cs.AI) (2026-10-12)

—— 完 ——

主题标签： #表示对齐 关注 #最优传输 关注 #少样本学习 关注 #多模态AI 关注 #arXiv 关注