ZJU3DV发布ScaleNav：基于互联网视频的机器人导航新范式

摘要：ZJU3DV团队推出ScaleNav，这是一种基于互联网第一人称视频的机器人导航框架，通过三阶段训练实现目标导向的视觉动态学习，并结合模拟数据中的动作对齐优化机器人动作生成。ScaleNav在Short-Horizon OVON和HabitatGS-LN基准测试中分别取得了86.5%和94.9%的成功率，显著优于现有基线模型，并在真实四足机器人上验证了其泛化能力。

---

技术机制剖析

ScaleNav的核心创新在于利用互联网上的第一人称视频作为训练数据源，通过三阶段训练实现机器人导航任务的优化：

1. 指令条件视频预训练：模型首先在互联网视频上进行预训练，学习相机接近目标时的观察变化规律。这一阶段旨在捕捉真实世界场景中目标导向的视觉动态。

2. 动作对齐：利用带有动作标注的模拟数据，模型学习预测可执行的动作片段。这一阶段将视觉动态与机器人动作生成相结合，确保模型能够生成符合导航需求的控制信号。

3. 联合微调：所有可训练组件在导航任务上进行联合优化，进一步提升模型的导航性能。

工程权衡与实测表现

• 数据效率与泛化能力：ScaleNav通过使用互联网视频数据，显著降低了数据收集成本，并提升了模型对多样化场景的泛化能力。然而，互联网视频的噪声和不一致性也对模型训练提出了挑战。

• 训练复杂度：三阶段训练过程虽然提升了模型性能，但也增加了训练时间和计算资源需求。

• 实际部署：在真实四足机器人上的测试表明，ScaleNav能够有效处理现实环境中的复杂导航任务，展示了其在实际应用中的潜力。

开发者落地与部署建议

• 数据预处理：开发者需要针对互联网视频进行严格的预处理和筛选，以减少噪声对模型的影响。

• 模拟数据整合：结合高质量的模拟数据可以进一步提升模型的导航精度和可靠性。

• 硬件适配：在实际部署中，开发者应根据机器人硬件平台的特点，对模型进行优化和适配，以确保实时性和稳定性。

总结

ScaleNav展示了利用互联网视频进行机器人导航训练的可行性，并为未来的研究提供了新的方向。其在基准测试和实际部署中的优异表现，证明了该方法在数据效率和泛化能力方面的优势。

---

消息来源：Hugging Face Daily Papers (2026-10-19)

—— 完 ——

主题标签： #机器人导航 关注 #计算机视觉 关注 #深度学习 关注 #AI智能体 关注 #ZJU3DV 关注