Hugging Face提出新型在线强化学习框架，革新iOS应用UI导航智能体训练

摘要：Hugging Face提出了一种新型在线强化学习框架，用于在真实iOS应用中训练UI导航智能体。该框架将智能体解耦为规划智能体和UI定位模型，通过LLM作为评判者提供密集的步骤级反馈和任务完成奖励，并采用Proximal Policy Optimization (PPO)算法优化智能体性能。同时，团队开发了GiGPPO方法，通过利用视觉相似状态下的奖励信号提升价值估计的稳定性。为支持大规模训练，团队构建了高效的基础设施，可同时管理数百个虚拟iOS设备。实验结果表明，该方法在多个基准测试中显著优于传统监督学习和仅使用终端奖励的强化学习模型，尤其在跨平台泛化能力上表现突出。

---

新型在线强化学习框架革新UI导航智能体训练

在用户界面（UI）导航领域，前沿的视觉-语言模型虽然表现出色，但其高昂的推理成本限制了日常应用。相比之下，通过监督微调（SFT）或离线强化学习（RL）训练的小型模型往往只能记住静态轨迹，导致执行脆弱且难以从错误中恢复。为解决这些问题，Hugging Face提出了一种新型在线强化学习框架，用于在真实iOS应用中训练UI导航智能体。

技术架构与核心机制

该框架将智能体解耦为两个专用组件：规划智能体和UI定位模型。通过LLM作为评判者提供全面的奖励信号，结合密集的步骤级反馈以评估中间进度，以及任务完成的终端奖励。为有效利用这种双重奖励结构，团队采用Proximal Policy Optimization (PPO)算法，并结合步骤级优势估计优化智能体性能。此外，团队引入了GiGPPO，这是一种新颖的邻域条件价值估计方法，通过利用视觉相似状态下的奖励信号提升价值估计的稳定性。

大规模训练基础设施

为支持这种在线训练范式，团队构建了一个高效的基础设施，能够同时管理数百个虚拟iOS设备。这一基础设施通过并行化训练过程，显著提升了训练效率和资源利用率。

实验结果与性能评估

在UINavBench、iOSWorld和AndroidWorld等严格基准测试中，在线RL训练的智能体在性能上大幅超越SFT和仅使用终端奖励的RL基线模型。特别地，8B参数的RL智能体在跨平台泛化能力上实现了近七倍于SFT基线的提升，同时在真实iOS应用中与Gemini-3.1-Pro表现相当，并超过Gemini-3.5-Flash。

工程权衡与开发者建议

1. 训练成本与效率：尽管在线RL训练需要更高的计算资源，但通过虚拟化技术和并行化训练，训练成本得到了有效控制。开发者应根据应用场景权衡训练成本与性能提升。
2. 跨平台泛化能力：该框架在跨平台泛化能力上的优异表现，使其适用于需要多平台支持的应用场景。
3. 实时交互与延迟：在线RL训练框架对实时交互的需求较高，开发者需优化网络延迟和设备性能以实现最佳效果。

结论

Hugging Face提出的在线RL框架为UI导航智能体训练提供了新的思路，尤其在跨平台泛化能力和训练效率上展现出显著优势。这一创新不仅推动了UI导航技术的发展，也为其他领域的智能体训练提供了借鉴。

---

消息来源：Hugging Face Daily Papers (2026-10-29)

—— 完 ——

主题标签： #Hugging Face 关注 #强化学习 关注 #UI导航 关注 #在线训练 关注 #多模态智能体 关注