Hugging Face发布TouchScale：首个统一穿戴设备采集的500小时视觉-触觉数据集

摘要：Hugging Face推出TouchScale，这是一套通过统一穿戴设备采集的500小时视觉-触觉交互数据集，涵盖日常活动与结构化操作。TouchScale将第一人称RGB-D视频、手腕RGB视频和密集双手触觉测量数据进行了时间对齐。与现有触觉数据相比，TouchScale在跨传感器零样本接触预测任务中表现优异，显著提升了接触IoU（从0.134提升至0.383）。此外，基于TouchScale预训练的视觉编码器在多个基准测试中实现了最高的动作识别准确率，并在机器人策略的中期训练中显著提高了真实世界任务的成功率（从22.5%提升至57.5%）。TouchScale的发布为视觉-触觉学习研究提供了重要支持。

---

1. 技术机制剖析

TouchScale通过一个统一的穿戴设备采集系统，捕捉了500小时的高质量视觉-触觉数据。该系统集成了以下关键组件：

• 第一人称RGB-D视频：捕捉用户视角的深度与颜色信息。
• 手腕RGB视频：提供手部操作的细节视角。
• 双手触觉测量：通过高密度触觉传感器阵列，捕捉手部与物体接触的力度与压力分布。

数据的时间对齐通过硬件同步和后处理算法实现，确保视觉与触觉数据的高度一致性。

2. 工程权衡与实测表现

TouchScale的设计在数据规模与传感器一致性之间取得了平衡。与现有触觉数据集相比，TouchScale的数据量更大，且所有数据均来自同一套设备，避免了多传感器融合带来的噪声和不一致性。

在跨传感器零样本接触预测任务中，TouchScale将接触IoU从0.134提升至0.383，展示了其在跨传感器泛化能力上的优势。此外，基于TouchScale预训练的视觉编码器在多个基准测试中均表现出色，尤其是在动作识别任务中，其准确率显著高于其他视觉-触觉数据集。

在机器人策略的中期训练中，TouchScale将真实世界任务的成功率从22.5%提升至57.5%，展示了其在机器人应用中的巨大潜力。

3. 开发者落地与部署建议

TouchScale的发布为视觉-触觉学习研究提供了新的数据资源。以下是一些建议：

• 跨传感器泛化：利用TouchScale进行跨传感器训练，提升模型在不同硬件配置下的表现。
• 机器人应用：将TouchScale用于机器人策略训练，特别是在需要精细触觉反馈的任务中。
• 数据扩展：结合其他数据集进行联合训练，进一步提升模型性能。

4. 未来展望

TouchScale的发布标志着视觉-触觉学习领域的一个重要里程碑。未来，随着更多数据的加入和更先进的模型架构的应用，TouchScale有望在机器人、智能制造和增强现实等领域发挥更大的作用。

---

消息来源：Hugging Face Daily Papers (2026-10-07)

—— 完 ——

主题标签： #Hugging Face 关注 #视觉-触觉学习 关注 #数据集 关注 #机器人 关注 #多模态 关注