Hugging Face发布BedBench：3D推理能力评估的新基准

摘要：Hugging Face推出BedBench，这是一个用于评估视觉-语言模型在3D推理能力上的新基准。BedBench包含13个程序生成任务，涵盖单一判断和复合答案的评估。研究发现，现有模型在颜色计数等任务上表现不佳，人类准确率为93.3%，而最佳模型仅为7.2%。尽管通过微调可以将模型准确率提升至68.6%，但其在颜色计数一致性方面仍存在显著缺陷。BedBench的发布为改进3D推理能力提供了新的研究方向。

---

3D推理能力的挑战与BedBench的提出

视觉-语言模型（Vision-Language Models, VLM）在处理单一判断时表现出色，但在恢复和一致使用3D对象的精确属性方面存在显著缺陷。为了系统评估这一差距，Hugging Face推出了BedBench，这是一个包含13个程序生成任务的受控基准，涵盖从单一判断到复合答案的广泛场景。

主要发现与问题

1. 颜色计数的显著弱点：在BedBench的测试中，人类在颜色计数任务中的准确率为93.3%，而最佳模型的准确率仅为7.2%。这表明，现有模型在处理需要精确属性恢复的任务时表现不佳。

2. 微调的效果与局限性：通过针对性的微调，可以将某一模型的准确率从3.0%提升至68.6%。然而，微调后，模型在回答最常见颜色的问题时，其答案仍然与其自身的颜色计数结果不一致。这表明，属性恢复并不等同于一致使用。

3. 推理、扩展和视觉线索的局限性：尽管推理能力、模型规模以及额外的视觉线索都能改善单一判断的准确性，但它们都无法使模型生成可靠的精确答案。

深入分析与机制探讨

为了定位问题，研究团队对Qwen3.5-27B进行了深入分析。结果显示，精确的颜色计数在语言模型的输入端是可恢复的，但模型的输出很少能正确反映这些计数（探测准确率为65.0%，而模型输出仅为3.0%）。此外，去除图像的对照实验表明，一些表面上的成功并不需要视觉证据的支持。

结论与未来方向

BedBench的发布揭示了现有视觉-语言模型在3D推理方面的局限性，并强调了评估3D推理能力时需要考虑精确性、一致性和图像依赖性，而不仅仅是准确性。BedBench的代码和数据集已公开提供，为研究人员和开发者提供了新的工具，以推动3D推理能力的提升。

开发者建议

• 微调策略优化：在微调过程中，应重点关注属性恢复与一致使用之间的平衡。
• 多模态数据增强：引入更多包含精确3D属性信息的训练数据，以提升模型在相关任务上的表现。
• 评估指标改进：在评估3D推理能力时，应综合考虑精确性、一致性和图像依赖性，而不仅仅是准确性。

---

消息来源：Hugging Face Daily Papers (2026-10-29)

—— 完 ——

主题标签： #Hugging Face 关注 #BedBench 关注 #3D推理 关注 #视觉-语言模型 关注 #基准测试 关注