Hugging Face发布GUI-Primitives：诊断视觉-语言GUI定位的空间推理缺陷

摘要：Hugging Face推出了一款名为GUI-Primitives的新基准测试工具，用于评估视觉-语言模型在图形用户界面（GUI）中的空间推理能力。该工具包含994个对比指令对，涵盖七种空间关系（左右、上下、包含、对齐、邻近、列表顺序、遮挡），旨在解决现有基准测试无法有效分离模型对关系语言与目标元素绑定的问题。测试结果显示，现有19个视觉-语言模型在严格点盒精度测试中表现不佳，最高仅达32%。该工具为开发者提供了诊断模型空间推理缺陷的新方法，并公开了基准数据、预测结果和代码。

---

核心突破

Hugging Face发布的GUI-Primitives是一款专门用于评估视觉-语言模型在GUI中空间推理能力的基准测试工具。其主要特点包括：

• 多维度空间关系覆盖：涵盖左右、上下、包含、对齐、邻近、列表顺序、遮挡等七种空间关系。
• 对比指令对设计：每个指令对固定截图和锚点，仅改变关系表达，使目标在两个指定候选者之间移动。
• 严格评估标准：通过点盒精度测试，评估模型在严格条件下的表现。

技术亮点

1. 创新基准设计：GUI-Primitives通过对比指令对的设计，有效分离了模型对关系语言的理解与目标元素定位能力。
2. 多语言模型测试：对19个视觉-语言模型进行了测试，结果显示现有模型在空间推理方面存在显著缺陷。
3. 数据与代码公开：基准数据、预测结果和代码均已公开，为研究人员和开发者提供了宝贵的资源。

行业影响

GUI-Primitives的发布为视觉-语言模型的空间推理能力评估提供了新的标准，有助于识别和解决模型在GUI定位中的问题。这对于开发更智能、更可靠的AI助手和自动化工具具有重要意义。

开发者建议

• 利用基准测试工具：开发者可以使用GUI-Primitives来评估和优化其视觉-语言模型的空间推理能力。
• 关注模型缺陷：通过分析测试结果，识别模型在特定空间关系上的不足，并进行针对性改进。
• 参与社区讨论：加入相关社区，分享使用经验和建议，共同推动视觉-语言模型的发展。

---

消息来源：Hugging Face Daily Papers (2026-08-22)

—— 完 ——

主题标签： #Hugging Face #视觉-语言模型 #GUI #空间推理 #基准测试