arXiv团队提出新方法：基于约束选择与旋转平均对数评分的多模态幻觉检测

摘要：arXiv团队在ImageEval 2026的Subtask 1b中提出了一种基于预训练7B视觉-语言模型的多模态幻觉检测方法。该方法通过零样本设置下的约束选择问题，结合拉丁方旋转平均对数评分技术，有效减少了答案位置偏差，在英文和现代标准阿拉伯语（MSA）测试集上分别取得了0.0510和0.0960的CI分数，相较于官方3B基线模型分别降低了83.7%和80.4%的CI值，展示了其在多语言视觉-语言任务中的优越性能。

---

技术机制剖析

该方法的核心在于将多模态幻觉检测任务转化为一个约束选择问题，并利用预训练的7B视觉-语言模型在零样本设置下进行推理。具体来说，模型通过计算每个候选答案的下一个token的对数概率来选择最有可能的答案。为了减少由于答案位置偏差带来的影响，研究团队引入了拉丁方旋转平均技术，对候选答案的位置进行随机化处理，从而提升模型的泛化能力和鲁棒性。

工程权衡与实测表现

该方法的优势在于其无需进行任务特定的训练或微调，降低了计算成本和资源需求。然而，这也意味着模型在特定任务上的表现可能受到预训练数据分布的限制。在ImageEval 2026的测试中，该方法在英文和MSA测试集上均表现出色，CI分数显著低于官方3B基线模型，展示了其在多语言环境下的适应性和高效性。

开发者落地与部署建议

对于开发者而言，该方法提供了一种无需大量标注数据即可实现多模态幻觉检测的解决方案。开发者可以基于现有的预训练视觉-语言模型，通过微调或调整推理策略来进一步提升模型性能。此外，拉丁方旋转平均技术可以作为一种通用的数据增强手段，应用于其他需要减少位置偏差的任务中。

结论

该研究为多模态幻觉检测提供了一种创新且高效的解决方案，尤其在多语言环境中表现出色。未来的研究方向可以包括探索更复杂的约束条件、引入更强的预训练模型以及开发更精细的推理策略，以进一步提升模型在复杂任务中的表现。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-10-19)

—— 完 ——

主题标签： #多模态幻觉检测 关注 #视觉-语言模型 关注 #零样本学习 关注 #arXiv 关注 #ImageEval 关注