智客 ZICQ
EN 登录 / 注册
智客前沿 智能体 #AWS #AgentCore #CI/CD #智能体评估 #MCP服务器

AWS发布基于Amazon Bedrock AgentCore与GitHub Actions的自动化智能体评估流水线

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 5 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:AWS推出了一个基于Amazon Bedrock AgentCore和GitHub Actions的自动化智能体评估流水线。该解决方案通过将智能体部署到AgentCore运行时,并使用AgentCore Evaluate API进行评估,能够在代码变更导致智能体性能下降时自动阻止Pull Request,从而实现持续集成/持续交付(CI/CD)中的智能体质量控制。该方案支持OAuth保护的MCP服务器,并提供多种评估模式,包括按需评估、在线评估和批量评估,为开发者提供了高效、可靠的智能体质量保障机制。


AWS发布基于Amazon Bedrock AgentCore与GitHub Actions的自动化智能体评估流水线

AWS近日发布了一款创新的解决方案,通过将Amazon Bedrock AgentCore与GitHub Actions集成,实现了对AI智能体的自动化评估与质量控制。该解决方案的核心功能包括:

  • 自动化部署与评估:利用AWS CDK(Cloud Development Kit),智能体和MCP服务器被部署到AgentCore运行时。随后,智能体通过预设的评估提示进行调用,并使用AgentCore Evaluate API对响应进行评分。
  • OAuth支持与安全认证:该方案支持OAuth保护的MCP服务器,并采用OpenID Connect (OIDC) 联合认证机制,使CI/CD流水线能够安全地调用受保护的智能体。
  • 质量控制机制:如果智能体的评估分数低于预设阈值,Pull Request将被自动阻止,从而防止性能下降的代码进入生产环境。

主要技术亮点

  1. AgentCore Evaluations:作为Amazon Bedrock AgentCore平台的质量测量层,AgentCore Evaluations使用大型语言模型(LLM)作为评判标准,对智能体的行为进行评分。它能够读取Amazon CloudWatch中的OpenTelemetry跟踪数据,并从多个维度(如有用性、准确性和工具选择准确性)对响应进行评估。

  2. 三种评估模式:“不支持按需评估”、“在线评估”和“批量评估”三种模式分别适用于不同的场景。按需评估适用于CI/CD质量控制,在线评估用于持续监控生产流量,而批量评估则适用于对多个会话进行评分。

  3. 多层次认证:MCP服务器采用三层认证模式,包括JWT验证、请求头传递和基于角色的工具访问控制。这种设计确保了CI/CD流水线能够安全地调用受保护的智能体,同时保持生产环境中的角色强制执行。

  4. 内置评估器:AgentCore提供多种内置评估器,涵盖会话、跟踪和工具调用等不同层面。例如,GoalSuccessRate评估器用于判断对话是否达到用户目标,而ToolSelectionAccuracy和ToolParameterAccuracy评估器则用于验证工具选择和参数传递的准确性。

行业影响与开发者建议

  • 提升智能体质量保障:通过自动化评估,开发者可以更早地发现智能体性能问题,从而提高智能体在生产环境中的可靠性。
  • 简化CI/CD流程:该方案将智能体评估集成到现有的CI/CD流程中,开发者无需手动进行测试和验证,节省了大量时间和精力。
  • 支持多种评估模式:开发者可以根据具体需求选择不同的评估模式,例如在开发阶段使用按需评估,在生产环境中使用在线评估。

开发者建议

  1. 从简单评估器开始:建议开发者从GoalSuccessRate、Correctness等基础评估器开始,逐步添加更复杂的评估器,如Trajectory evaluators和Safety evaluators。
  2. 使用代码基评估器:对于需要确定性检查的场景,可以使用代码基评估器来补充LLM-as-judge评分。
  3. 优化评估阈值:根据不同环境(开发、测试、生产)调整评估阈值,以平衡评估的严格性和智能体的可用性。

结论

AWS推出的这款自动化智能体评估流水线为AI开发者提供了一种高效、可靠的智能体质量控制机制。通过将智能体评估集成到CI/CD流程中,开发者可以更早地发现并解决智能体性能问题,从而提高智能体在生产环境中的可靠性和安全性。


消息来源:AWS Machine Learning Blog (2026-09-08)

—— 完 ——

主题标签: #AWS #AgentCore #CI/CD #智能体评估 #MCP服务器

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…