GAVAGAI：基于平衡最优传输的婴儿级视觉-语言模型指称对齐方法

摘要：GAVAGAI是一种新型视觉-语言模型，旨在解决现有模型在指称对齐上的不足。该方法通过将场景视为内容词与视觉区域之间的小规模分配问题，并采用熵最优传输方法，在两个约束条件下进行对齐：允许单词分配给一个特殊的'无'列，以及限制每个区域的最大分配量以编码互斥性。在模拟和真实数据上的实验表明，该方法显著提升了单词到图片的准确率，从32.4%提高到48.7%，并在定位IoU上从0.18提升至0.38。

---

技术机制剖析

GAVAGAI的核心创新在于将视觉-语言模型的训练目标从传统的下一个词预测（next-token captioning）转变为指称对齐（referential alignment）。具体来说，该方法将每个场景视为一个分配问题，通过以下两个关键约束实现指称对齐：

1. '无'列分配：允许单词分配给一个特殊的'无'列，以处理大多数内容词不指代任何可见物体的情况。这避免了模型在非指称情况下强行将单词分配给某个区域，从而导致错误。
2. 容量约束：限制每个区域的最大分配量，以编码互斥性。这确保了模型不会将多个单词分配给同一个区域，从而保持指称的唯一性。

通过将场景视为一个熵最优传输问题，GAVAGAI使用Sinkhorn迭代法进行求解。该方法在计算成本上相对较低，仅需约八个Sinkhorn迭代步骤，相较于视觉编码器的计算量来说微不足道。

工程权衡与实测表现

在模拟实验中，传统的行式softmax方法在非指称率较高的情况下表现不佳，单词到图片的准确率降至0.000，低于仅使用字幕方法的0.058。而GAVAGAI的两个约束条件在相同情况下达到了0.075的准确率，在干净输入下更是达到了0.700的准确率。

在SAYCam婴儿视频语料库上的实验表明，添加指称对齐损失后，单词到图片的准确率从32.4%提高到48.7%，定位IoU从0.18提升至0.38。尽管对比学习模型在自身基准测试中表现更强，但GAVAGAI在处理高非指称率的情况下显著提升了字幕目标的性能。

开发者落地与部署建议

GAVAGAI为视觉-语言模型提供了一种新的训练范式，特别适用于需要高指称准确率的场景，如婴儿语言学习、跨模态检索和智能助手等。开发者可以参考以下建议进行落地部署：

• 数据预处理：在训练数据中明确标注非指称情况，以充分利用'无'列分配的优势。
• 模型优化：结合其他技术，如对比学习和多模态融合，进一步提升模型性能。
• 计算资源管理：由于Sinkhorn迭代的计算成本较低，开发者可以灵活地在不同硬件平台上进行部署。

未来展望

GAVAGAI展示了在视觉-语言指称对齐方面的潜力，未来可以进一步探索其在多模态智能体、跨语言学习和人机交互等领域的应用。此外，结合强化学习和自监督学习等技术，有望实现更高效、更准确的指称对齐。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-11-03)

—— 完 ——

主题标签： #视觉-语言模型 关注 #指称对齐 关注 #最优传输 关注 #多模态AI 关注 #深度学习 关注