HCU统一程序、语义与视觉通道，通用智能体转向混合计算机操作

摘要：HCU 为通用计算机操作智能体设计统一接口，把代码与命令行、可访问性树（AX）和图形界面（GUI）纳入同一动作空间。其 AX 工具以紧凑观测、批量执行和差异反馈减少模型往返，并通过状态校验防止跨通道切换时执行过期操作。论文称该方法在 OSWorld 2.0 上取得对比系统最高的 Partial 与 Binary 分数；核心价值在于让模型按任务动态选择最可靠的交互通道，而不是反复依赖截图和鼠标键盘。

---

核心思路：不再让智能体只模仿人类操作电脑

传统 Computer Use 智能体通常以截图作为观察空间，以鼠标移动、点击和键盘输入作为动作空间。这套接口适合复刻人类行为，却也把模型的感知预算消耗在像素识别、坐标定位和界面状态重建上。更重要的是，许多桌面任务本来可以直接通过命令行、脚本或操作系统可访问性接口完成，强行沿 GUI 操作会增加步骤数与失败面。

Hybrid Computer Use（HCU）将同一台计算机抽象为三种可组合通道：

• 程序化通道：通过代码、命令行及工具接口读取或修改状态；
• 语义通道：通过操作系统的 Accessibility（AX）接口获取控件角色、名称、状态与层级关系；
• 视觉通道：继续使用截图及 GUI 操作，处理只能通过视觉呈现或交互完成的任务。

模型可以在一次任务中组合三个通道。例如，先用 AX 定位目标控件，再通过 CLI 批量处理文件，最后用 GUI 完成视觉校验。与固定路由不同，HCU 允许智能体根据当前状态和工具可靠性自行选择通道。

AX 工具如何降低交互开销

语义界面是 HCU 的主要工程抓手。论文设计的 AX 工具不是把完整可访问性树原样塞回上下文，而是提供更紧凑的观察结果；动作可以批量提交，执行后返回 AX diff，只描述哪些状态发生变化。

这一机制把典型的多步闭环压缩为“读取目标状态—批量操作—检查差异”。模型不必在每一步后重新解析整棵界面树，因此在视觉令牌、模型推理轮次和工具延迟之间都存在优化空间。论文还附带了一套 HCU skill，向模型说明何时优先使用 AX、何时转到程序化或视觉通道，以及如何协调不同通道。

防止跨通道切换时的过期操作

混合接口的主要风险不是单次动作失败，而是状态过期。模型依据某个通道读取的状态生成动作后，桌面可能已被其他进程或用户改变；若继续执行旧动作，错误可能在视觉、语义和程序化通道之间传播。

HCU 为此加入跨通道切换保护，使系统在动作执行前后能够识别目标状态是否已经失效。其工程意义类似数据库中的条件执行：动作不再只依赖“最后观察到的状态”，而是尽量验证该状态仍是执行前提。对多智能体、多窗口或后台应用持续更新的桌面环境，这一点比单纯提高工具调用数量更重要。

OSWorld 2.0 表现与评测边界

论文报告，HCU 在 OSWorld 2.0 上取得对比系统中最高的 Partial 与 Binary 分数。轨迹分析还显示，所有参评模型使用 HCU 后均有提升，并在效率与任务成功率上持续超过比较基线。

不过，摘要没有给出各模型的具体增益、置信区间、任务级分布及算力成本，因此尚不能判断提升主要来自 AX 通道、通道切换保护，还是二者共同作用。Partial Score 反映部分完成程度，Binary Score 要求整项任务成功，两者同时提升是积极信号，但仍需结合完整实验核查：

1. 基线是否采用同等视觉模型、提示词与推理预算；
2. OSWorld 2.0 的任务类型是否偏向具有 AX 映射的桌面软件；
3. GUI-only 与 HCU 的端到端延迟、令牌消耗和动作数量是否可比；
4. 在无障碍树缺失、过期或语义标签错误的软件中，视觉回退是否稳定。

开发者落地建议

将 HCU 思路用于真实智能体时，可以按风险和效率分层接入：程序化通道用于可验证的数据处理与批量操作，AX 通道用于结构化控件定位，GUI 通道作为兜底和最终视觉验收。不要让模型在同一动作中无条件切换通道；每个跨通道动作都应携带必要的状态前置条件、幂等标识和结果校验。

执行层还应记录三类指标：各通道的调用占比、每项成功任务的模型轮次与端到端延迟，以及 AX 状态过期或语义映射失败的比例。只有这样才能判断 HCU 的收益究竟来自更高信息密度，还是来自更短的执行路径。

对涉及删除、支付、权限修改或配置变更的操作，通道效率不能替代权限控制。高影响动作仍应经过最小权限策略、确定性命令拦截和人工确认，避免模型因为获得更高效的工具接口而扩大破坏半径。

---

消息来源：Hugging Face Daily Papers (2026-10-30)

—— 完 ——

主题标签： #Computer Use 关注 #HCU 关注 #可访问性接口 关注 #OSWorld 2.0 关注 #多通道智能体 关注