PrentisAI发布GroundGUI-8B：基于高质量数据与蒸馏强化学习的多模态GUI智能体

摘要：PrentisAI推出了一款名为GroundGUI-8B的多模态GUI智能体，旨在解决自然语言指令与屏幕组件精准映射的挑战。该智能体基于全新的Screen Referring Grounding Dataset (ScreenRef) 数据集进行训练，该数据集包含58.6万张GUI截图和63.3万条自然语言表达实例，涵盖文本识别、视觉匹配、空间理解等任务。GroundGUI-8B采用了一种名为Distillation-to-Reinforcement Learning (D2RL) 的新训练方法，结合了监督微调（SFT）和强化学习（RL），在多个基准测试中表现出色，例如在ScreenSpot-V2上达到95.2%的准确率，显著优于现有开源模型，并在部分指标上接近甚至超越闭源模型。

---

技术机制剖析

GroundGUI-8B的核心突破在于其创新的训练方法——Distillation-to-Reinforcement Learning (D2RL)。D2RL结合了监督微调（SFT）和强化学习（RL），旨在解决传统监督学习在泛化能力上的局限性和强化学习中的稀疏奖励问题。

• ScreenRef 数据集：ScreenRef 是专为 GUI 智能体设计的，包含58.6万张GUI截图和63.3万条自然语言表达实例，涵盖文本识别、视觉匹配、空间理解等任务，为模型提供了高质量、多样化的训练数据。
• D2RL 方法：D2RL 通过先进行监督微调，再使用强化学习进行优化，解决了监督学习在处理复杂交互场景时的不足。强化学习部分通过奖励机制引导模型在特定任务中表现更优，例如在拒绝场景中提供更准确的反馈。

工程权衡与实测表现

• 优势：
  • 高精度：在多个基准测试中，GroundGUI-8B 表现出色，例如在 ScreenSpot-V2 上达到 95.2% 的准确率，显著优于现有开源模型。
  • 多模态处理能力：该模型能够处理文本、图像和空间信息，适用于复杂的 GUI 交互场景。
• 劣势：
  • 训练成本高：D2RL 方法需要大量的计算资源进行强化学习训练，对硬件要求较高。
  • 数据依赖性强：模型的性能高度依赖于 ScreenRef 数据集的质量和多样性。

开发者落地与部署建议

• 应用场景：适用于需要高精度 GUI 交互的领域，如智能客服、自动化测试和虚拟助手等。
• 部署建议：建议在配备 GPU 加速的服务器上部署，以充分利用 D2RL 方法的优势。同时，开发者可以结合具体应用场景对模型进行微调，以提升特定任务的性能。
• 未来方向：未来可以进一步扩展 ScreenRef 数据集，并探索更高效的强化学习方法，以提升模型的泛化能力和训练效率。

---

消息来源：ArXiv AI (cs.AI) (2026-10-15)

—— 完 ——

主题标签： #多模态智能体 关注 #GUI交互 关注 #强化学习 关注 #监督微调 关注 #PrentisAI 关注