Agent Harness Awareness：让工具型智能体在执行前掌握实时运行状态

摘要：论文提出“Agent Harness Awareness”架构：执行框架在关键工具调用前，向模型提供一小份新鲜且经过验证的运行状态快照，同时保留监控、策略执行、评估和最终调度权。作者以 ToolRoute 基准在三个前沿模型上进行216次决策消融，验证工具健康状态使平均可观测策略遗憾下降96.9%，单次调度完成率由69.4%升至95.8%；在27次真实网络故障复现实验中，完成率由5/9提高至9/9。该工作说明，智能体可靠性不只取决于模型推理，也取决于执行层能否向模型暴露可信的运行上下文。

---

核心思路：把运行状态变成模型可用的决策信号

工具描述通常只回答“这个动作能做什么”，却没有说明“这个动作此刻是否健康、是否适合执行”。执行框架掌握监控指标、调用链和近期故障，模型却只能依据静态描述或历史文本作出选择，形成论文所称的操作盲区。

Agent Harness Awareness 采用信任分层设计：宿主系统在执行高后果动作前，向模型提供一份小型、新鲜且经过验证的状态快照；模型据此选择候选工具，但最终执行权仍留在宿主侧。这样既利用运行态信息改善路由，又避免让模型直接控制监控、策略执行、评估和最终派发。

其关键区别并非“再给模型一次提示词”，而是建立一条受约束的状态注入链路：

1. 宿主采集工具健康度、近期失败或网络状态；
2. 验证并压缩为有限状态视图；
3. 在调用前注入模型上下文；
4. 模型选择候选动作；
5. 宿主校验策略并执行最终派发。

基准设计与消融逻辑

作者构建 ToolRoute 隔离基准，在固定任务与候选工具语义的前提下，仅改变模型可见的运行信息，从而尽量把性能差异归因于状态感知，而非工具描述或搜索空间变化。

实验包含216次决策，覆盖三个模型：GPT-5.6 Sol、Claude Sonnet 5 和 Gemini 3.7 Flash。加入经过验证的工具健康状态后：

• 平均可观测策略遗憾从 4,252毫秒降至131毫秒，降幅96.9%；
• 单次调度完成率从 69.4%提高到95.8%；
• 模型不再仅凭工具名称、描述或静态适配度进行选择。

这里的“策略遗憾”以毫秒表达，实际衡量的是所选路径相对更优可观测路径的额外延迟或损失。它适合评估运行时路由质量，但不能直接等同于任务正确率、真实成本或用户价值。

真实网络故障复现

论文进一步设置27次端到端决策，使用本地TCP/HTTP真实执行、OpenTelemetry客户端Span以及Toxiproxy注入故障。验证状态组把平均遗憾从8,956毫秒降至0毫秒，并在9个“模型×故障”组合中完成9次；对照组仅完成5次。

这一结果比纯模拟路由更有工程意义，因为它验证了状态快照与真实调用链之间的衔接。不过，27次复现实验规模仍小，“平均遗憾归零”也可能受故障注入方式和测试分布影响，不能直接外推到生产网络中的长尾故障、并发抖动或部分降级场景。

工程权衡：多一次状态判断是否值得

运行态感知并非免费。宿主必须持续收集监控数据、验证快照新鲜度并控制其结构大小。若状态采集本身阻塞主路径，端到端延迟可能不降反升；若快照过长，又会挤占上下文预算并增加模型解析成本。

生产实现可采用分层策略：

• 对低成本、可逆调用沿用快速路径，避免额外遥测开销；
• 对高成本、不可逆或涉及关键依赖的调用，强制预检健康状态；
• 用TTL、序列号和来源认证防止模型消费过期或被篡改的状态；
• 将完整Trace保留在宿主侧，只向模型暴露任务所需的最小视图；
• 对状态缺失、冲突和降级情况设置显式回退策略。

论文提出的信任分离在此尤其重要：状态视图可影响建议，但不应绕过宿主侧的权限检查、速率限制和最终执行策略。否则，模型反而可能把带噪状态解释成执行授权。

评测局限与待验证问题

结果支持“选择性运行状态能改善工具与网络路由”，但尚不能证明通用智能体在所有任务上都会受益。当前实验主要覆盖工具健康、网络可用性与故障选择，尚未系统处理运行时算力压力、经济成本、重试感知恢复和异构工具选择。

另外，基准使用同形状的中性状态作为控制，可以检验信息内容的作用，但生产系统还需回答：哪些字段真正必要？陈旧但结构更丰富的状态是否会造成误导？多个遥测源冲突时如何裁决？状态注入是否改变模型的 token 消耗和供应商调用成本？这些问题决定该方案能否从实验设置进入大规模工具编排平台。

开发者落地建议

将该架构接入现有 Agent Harness 时，可先从“调用前状态门控”开始，而不是改造整个智能体框架：为每个工具维护经过签名的健康快照，将高风险调用路由到预检流程，并记录“是否因状态信息改变工具选择”的决策日志。随后用真实流量回放比较单次完成率、P95延迟、额外遥测成本和错误路由率。

生产上线前至少应验证四件事：状态的新鲜度阈值、快照字段对模型的增益、不可信遥测的降级路径，以及多候选工具之间的选择一致性。最终，Agent Harness Awareness提供的关键启示是：模型参数决定“会不会选”，执行层提供的可信运行状态决定“能不能选对”。

---

消息来源：ArXiv AI (cs.AI) (2026-11-05)

—— 完 ——

主题标签： #Agent Harness 关注 #运行态感知 关注 #工具调用 关注 #故障注入 关注 #OpenTelemetry 关注