闭环智能体评测：分层测量、自校准与自动改进

摘要：论文提出面向已部署智能体的闭环评测方法，将评估视为带有评价者偏差与结果删失的性能估计问题。框架在跨度、轨迹、对话和互动四个层级测量执行质量、实质内容、行为路径与最终结果，并将行为规范作为贯穿各层的约束；通过证据溯源、评审裁决、版本化规则及内外双循环，使评估结果能够持续反馈到智能体改进。案例实验显示，基于证据与规则的判断比整体式评分具有更高一致性，但数据规模、跨任务泛化和生产部署成本仍待验证。

---

闭环评测解决什么问题

面向已上线的智能体，一次性跑完基准测试、检查若干轨迹并输出单个总分，无法回答三个关键问题：评估结论是否可信、评测器本身是否发生漂移，以及失败信息能否真正进入下一轮智能体改进。论文将这些问题统一为闭环评估：每一层结论都必须回溯到原子证据，由版本化规则计算，并进入持续审计与回归反馈流程。

其统计视角值得注意。实际系统中的失败经常无法被完整观测，例如工具调用结果缺失、用户中途退出或轨迹被日志截断，构成典型的删失结果；人工或模型评审也可能存在偏向。因此，单一总分不应被直接视为真实能力，而应被视为带有观测与评审误差的估计量。

四层分析结构

框架把智能体行为拆为四个分析层级：

• Span（跨度）：聚焦单个推理、工具调用或执行片段，判断局部步骤是否正确完成。
• Trace（轨迹）：分析多个步骤组成的执行链，检查依赖关系、失败传播和路径效率。
• Conversation（对话）：考察跨轮次目标保持、上下文利用、澄清与纠错能力。
• Engagement（互动）：从用户实际使用过程评估任务完成度、持续参与和最终收益。

每个层级沿四个质量轴测量：Execution 判断是否按要求执行，Substance 检查内容是否真正解决任务，Trajectory 衡量路径是否合理，Results 评估是否产生预期结果。Conduct 不作为独立加分项，而是横跨全部层级的硬约束；违反安全、权限或行为规范时，即使任务得分较高，也不应判定为合格。

证据、规则与评审者如何闭环

方法将结论拆为三类可审计组件：

1. **Provenance（证据溯源）**记录结论依赖的原子数据、时间戳、转换过程和数据来源，避免只保存不可追溯的汇总分数。
2. **Adjudication（裁决）**处理证据冲突与评审分歧。其价值不在于生成更复杂的评分函数，而在于明确谁有权依据什么规则作出最终判断。
3. 版本化规则固定指标定义、阈值和聚合逻辑，使评测结果能够跨时间比较，并在规则变化后区分“智能体退化”与“评测口径变化”。

Agent Factory 生成的评估器智能体由领域知识包和适配器测试框架组成。前者提供任务语义、失败模式和领域约束，后者将评估器接入不同智能体框架及观测格式。这种组合比单纯提示词打分更容易做组件级回归：某一规则或知识包被修改后，可以观察其对各层指标、裁决结果和最终判断的影响。

内外双循环

闭环由两个循环组成：

• 内循环审计证据、规则、指标和评审器自身，检查缺失证据、规则冲突、指标漂移及评审偏差。
• 外循环执行逐组件回归检查，把评估发现转化为智能体改进信号，并验证改动是否在目标层级产生收益、是否破坏其他层级。

自动流水线将日志采集、证据标准化、规则计算、评审裁决和回归测试串联起来。这里的工程重点是避免用另一个未经验证的黑盒评分器监督原智能体：如果评估器发生漂移，外循环可能直接放大训练偏差。因此，规则版本、证据快照、裁决记录和回归基线应作为一等产物保存，而不是只保留最终分数。

结果与工程权衡

以商业分析智能体 SharpInsight 为案例，并将方法迁移到公开对话数据后，论文报告，证据与规则联合判断相比整体式评分具有更高一致性：ICC 从 0.81 提升至 0.86，Cohen's kappa 从 0.63 提升至 0.81。这说明拆分评分对象、保留原子证据和显式裁决可以减少评审噪声。

不过，这些数字不能直接外推为生产效果。ICC 和 kappa 衡量的是评审一致性，不等同于准确性、任务成功率或业务收益；公开对话数据与商业分析智能体之间也存在明显领域差异。论文摘要未披露完整数据规模、评审模型、置信区间、人工复核成本及规则维护开销，跨任务、跨模型和长期漂移能力仍需独立验证。

该框架还面临明显的工程权衡。分层、可追溯评测会增加日志存储、规则执行和人工裁决成本；版本化规则降低结果漂移，却要求团队维护规则生命周期；逐组件回归提高定位能力，但当组件数量增长时，测试组合和计算开销会快速上升。

开发者落地建议

工程团队可先从生产轨迹、工具调用结果和用户反馈构建原子证据层，再为关键任务定义最小规则集，而不是一开始追求完全自动化。部署时应保留每次评估的规则版本、模型版本、证据哈希和裁决记录，并建立跨层指标面板，避免只看单一 Agent Score。

回归测试至少应覆盖：原子证据缺失率、评审器一致性、规则冲突率、层级间指标矛盾，以及 Conduct 约束绕过率。只有当内循环能检测评估器退化，外循环产生的改进信号才具备可信基础。对于高风险业务，还应保留人工裁决和回滚机制，因为自动评价器并不能替代责任边界。

适用边界

闭环评测更适合长链路、工具密集、持续更新的生产智能体。它能提升可审计性与持续改进能力，但不能自动解决任务定义模糊、奖励错配或领域知识不足；若底层目标本身错误，闭环只会更高效地固化错误方向。

---

消息来源：ArXiv AI (cs.AI) (2026-11-06)

—— 完 ——

主题标签： #智能体评测 关注 #闭环评估 关注 #证据溯源 关注 #自校准 关注 #生产监控 关注