Hugging Face发布HSS：首个直观视觉推理基准，挑战多模态大模型认知极限

摘要：Hugging Face推出Humanity's Sixth Sense (HSS)基准测试，旨在评估多模态大语言模型(MLLMs)在直观视觉推理任务中的表现。HSS通过多样化的图像和视频输入，结合人类编写的提示，测试模型对隐含时间、空间、社会和抽象结构的推理能力。测试结果显示，当前最强大的模型GPT-6-astra在HSS上的准确率仅为53.6%，远低于人类参与者的93.1%，凸显了现有模型在直观视觉推理任务中的不足。HSS的发布为多模态AI的进一步发展提供了新的方向和挑战。

---

直观视觉推理的挑战与HSS基准的诞生

人类在感知场景时，能够超越显性信息，快速推断出隐含的因果关系、空间关系、社会结构和抽象模式。这种直观视觉推理能力是日常生活和社交互动的基础，也是多模态大语言模型(MLLMs)在与人类协作时必须具备的关键能力。然而，现有的视觉基准测试主要集中于学术和数学领域的专家级分析或低级感知，忽略了直观推理这一重要维度。

为了填补这一空白，Hugging Face推出了Humanity's Sixth Sense (HSS)基准测试。HSS通过以下特点实现了对直观视觉推理的全面评估：

1. 多样化输入：涵盖图像和视频等多种输入形式。
2. 结构化分类：将测试项目按时间、空间、社会和抽象结构进行分类。
3. 人类提示：每个测试项目都配有由人类编写的提示，模拟真实场景中的推理需求。

评测结果与模型表现

在HSS基准测试中，参与者的人类表现达到了93.1%的准确率，而当前最强大的模型GPT-6-astra在最大推理努力下的准确率仅为53.6%。这表明，尽管现有模型在许多需要高级感知和知识的复杂任务中表现出色，但在直观视觉推理任务上仍存在显著差距。

动态视觉操作与未来方向

研究团队还探索了将动态视觉操作应用于HSS的代理设置，这缩小了与人类表现的差距，但未能完全弥合。这一结果进一步强调了直观视觉推理作为可测量维度的必要性，并指出现有模型在扩展过程中尚未充分发展的能力。

结论与影响

HSS基准测试的发布，标志着直观视觉推理作为一个可测量的维度被正式确立。它不仅为多模态AI模型的评估提供了新的标准，还为未来的研究和技术发展指明了方向。HSS的推出，将推动AI模型在直观推理能力上的进一步提升，使其更好地适应与人类协作的实际应用场景。

---

消息来源：Hugging Face Daily Papers (2026-10-08)

—— 完 ——

主题标签： #Hugging Face 关注 #多模态AI 关注 #视觉推理 关注 #基准测试 关注 #GPT-6 关注