EgoTools发布：首个用于真实世界第一人称视频工具使用理解的综合套件

摘要：EgoTools是首个针对真实世界第一人称视频中工具使用理解的综合套件，包含EgoTools-Data和EgoTools-Bench两个核心组件。EgoTools-Data提供了100小时带有同步音频、密集字幕、推理型叙述和3D信息的工具使用视频数据，而EgoTools-Bench则是一个包含1000个问答对的诊断基准，涵盖从感知、几何到过程和因果推理的四个领域。实验结果表明，现有模型在视觉证据中理解工具使用方面仍存在不足，而EgoTools-Data作为训练资源可显著提升模型性能，例如Qwen3-VL-8B-Instruct在监督微调后准确率从50.0%提升至60.9%。EgoTools的发布为真实世界工具使用理解的研究和开发提供了重要支持。

---

核心突破

EgoTools的发布标志着在真实世界第一人称视频中工具使用理解领域的重要进展。该套件包含两个主要部分：

• EgoTools-Data：一个包含100小时带有同步音频、密集字幕、推理型叙述和3D信息的工具使用视频数据集。该数据集为研究人员和开发者提供了丰富的资源，用于训练和评估模型在工具使用理解方面的能力。
• EgoTools-Bench：一个包含1000个问答对的诊断基准，涵盖从感知、几何到过程和因果推理的四个领域。该基准旨在评估模型在复杂任务中的表现，并推动该领域的进一步研究。

技术亮点

1. 大规模真实世界数据：EgoTools-Data提供了100小时的高质量第一人称视频数据，填补了现有数据集中缺乏真实世界工具使用场景的空白。
2. 多维度评估基准：EgoTools-Bench通过四个领域的问答对，全面评估模型在工具使用理解方面的能力，包括感知、几何、过程和因果推理。
3. 显著提升模型性能：实验结果表明，EgoTools-Data作为训练资源可以显著提升模型性能。例如，Qwen3-VL-8B-Instruct在监督微调后，准确率从50.0%提升至60.9%。

行业影响

EgoTools的发布为真实世界工具使用理解的研究和开发提供了重要支持。其丰富的资源和全面的评估基准将推动该领域的进一步发展，并为智能体在复杂任务中的表现提升提供新的思路。此外，EgoTools的应用场景广泛，包括智能家居、医疗护理、工业自动化等领域，为这些领域的AI应用提供了新的可能性。

开发者建议

• 数据利用：建议研究人员和开发者充分利用EgoTools-Data进行模型训练和评估，特别是在工具使用理解方面。
• 基准测试：建议使用EgoTools-Bench对模型进行多维度评估，以全面了解其性能表现。
• 持续关注：随着EgoTools的不断更新和扩展，建议开发者持续关注其最新动态，以获取最新的资源和评估基准。

---

消息来源：Hugging Face Daily Papers (2026-09-30)

—— 完 ——

主题标签： #EgoTools 关注 #第一人称视频 关注 #工具使用理解 关注 #多模态数据 关注 #AI研究 关注