AWS为AgentCore评测接入专用决策模型

摘要：Amazon Bedrock AgentCore Evaluations 现可通过基于代码的 Lambda 评估器接入 Jev 与开源 Strands Decider 2B。方案把智能体轨迹转换为固定标签与校准概率，支持无序二元判断、多选分类和有序评分，并在开放框架中提供可复现示例。核心价值不在于取代大模型裁判，而在于构建低成本筛查层：先用数百毫秒级决策模型覆盖全部会话，再将低置信度样本升级给可解释的 LLM 评审，从而在延迟、费用与评估覆盖率之间取得平衡。

---

核心更新

Amazon Web Services 在 Amazon Bedrock AgentCore Evaluations 中提供了接入专用决策模型的完整路径。评估器不再局限于平台内置的 15 个评估器，也可以通过 AWS Lambda 运行自定义代码，调用 TypeSafe 托管的 Jev，或自行部署开源的 Strands Decider 2B。

这类模型并非通用聊天模型。它们针对固定选项集合输出标签及概率分布，例如：

• noul：返回 True 或 False 的概率；
• choice：最多从 255 个选项中选择，并返回完整分布；
• score：在 2 至 10 个有序等级上给出概率加权得分。

因此，决策模型更适合“回答是否有工具结果支持”“是否遵循 HR 政策”“任务是否完成”这类边界清晰、可被人工快速判断的检查项。

评估链路如何工作

AgentCore 接收智能体的 OpenTelemetry spans，Lambda 评估器对其标准化，再根据 TRACE 或 SESSION 级别组织输入。TRACE 评估只发送目标轮次和少量历史上下文；SESSION 评估则包含完整会话，以避免把长历史压缩成摘要后丢失证据。

模型输出到 AgentCore 的映射保持简单：

• 对 noul，True 概率成为评估值，最高概率类别成为标签；
• 对 score，使用各等级的概率计算期望值，再缩放到 [0, 1]；
• 对 choice，按照预定义选项权重计算概率加权值。

以 4 级帮助度评分为例，若等级概率为 p0 至 p3，对应的期望评分为：

E[score] = p0×0 + p1×(1/3) + p2×(2/3) + p3×1

这意味着决策模型不仅能给出“最可能的 2 级”，还能提供可用于阈值控制的连续分数。不过，这种加权只是把离散概率转换为期望值，并不会消除标签定义本身可能存在的歧义。

为什么不能替代 LLM 裁判

LLM 裁判擅长需要阅读证据、发现遗漏信息并解释判断原因的开放式任务。决策模型则擅长稳定地执行一个固定量表，并提供可程序化处理的置信度。两者输出的信息结构不同：前者偏向“评分加解释”，后者偏向“标签加校准概率”。

AWS 给出的推荐模式是级联评估：先让决策模型检查全部会话，再把失败或接近阈值的会话交给内置 LLM 评估器深入分析。这样可以降低大模型评审的调用量，同时保留针对模糊案例的调查能力。

更稳妥的生产组合是三层结构：

1. 对长度、格式、字段完整性等可精确计算的条件，使用确定性代码检查；
2. 对固定标签或有序量表，使用决策模型生成低成本概率信号；
3. 对事实一致性、帮助度和任务完成度等需要语义推理的项目，保留 LLM 裁判。

校准与工程权衡

决策模型最有价值的能力不是输出一个二元结论，而是让置信度可以用于阈值控制。AWS 建议先从真实流量中抽取带有失败样本和边界案例的标注集，由三名标注者独立判断并以多数票形成参考标签，再同时运行决策模型与内置 LLM 评估器。

验证至少应覆盖三个维度：

• 一致率：分别统计简单样本与分歧样本上，模型和多数票标签的匹配率；
• 校准度：按预测概率分桶，检查实际准确率是否随置信度单调上升；
• 分歧分析：定位两类评估器结论相反的会话，判断问题来自模型能力还是量表措辞。

阈值不能机械地设为 0.5。若 0.7 置信度区间的实际准确率仅为 60%，系统就需要根据业务可接受的漏检和误报成本重新选点。每次修改问题文本或升级模型，都应重新运行验证。

AWS 给出的量级对比是：通用 LLM 裁判通常需要 2 至 10 秒，而网络调用形式的决策模型约为数百毫秒。不过，这不是严格等条件的基准测试，模型规模、上下文长度、托管位置和网络路径均可能改变结果。Jev 还是外部托管服务，会引入供应商依赖、数据传输与 API 成本；Strands Decider 2B 可自托管，但需要承担模型服务、GPU 资源、VPC 连通性和运维开销。

开发者落地建议

AWS 同步提供了一个使用 Strands Agents 构建的 HR Assistant 示例，包含两个确定性评估器：响应长度检查和基于固定数据的正则事实检查；还提供 Jev 与 Strands Decider 两套可切换后端。

实际接入时，可以按以下顺序推进：

1. 先用确定性代码覆盖能够精确计算的约束；
2. 选择回答空间狭窄、人工标注一致性较高的评估问题；
3. 在同一批已标注会话上比较决策模型与现有 LLM 裁判；
4. 根据漏检与误报成本设置独立阈值，而不是统一使用 0.5；
5. 将决策模型作为全量筛查层，仅把低置信度样本升级给 LLM 评审；
6. 在模型版本、提示词或业务量表变化后重新校准。

对于高风险业务，决策模型的概率不能直接等同于“事实正确”。它表达的是模型在既定量表下的判断概率，仍受训练分布、问题措辞和标注偏差影响。上线前的人工标注验证与持续漂移监控不可省略。

---

消息来源：AWS Machine Learning Blog (2026-11-04)

—— 完 ——

主题标签： #AgentCore 关注 #决策模型 关注 #智能体评估 关注 #LLM-as-a-Judge 关注 #AWS Lambda 关注