AWS发布基于Amazon Bedrock AgentCore与GitHub Actions的自动化智能体评估流水线
摘要:AWS推出了一个基于Amazon Bedrock AgentCore和GitHub Actions的自动化智能体评估流水线。该解决方案通过将智能体部署到AgentCore运行时,并使用AgentCore Evaluate API进行评估,能够在代码变更导致智能体性能下降时自动阻止Pull Request,从而实现持续集成/持续交付(CI/CD)中的智能体质量控制。该方案支持OAuth保护的MCP服务器,并提供多种评估模式,包括按需评估、在线评估和批量评估,为开发者提供了高效、可靠的智能体质量保障机制。
AWS发布基于Amazon Bedrock AgentCore与GitHub Actions的自动化智能体评估流水线
AWS近日发布了一款创新的解决方案,通过将Amazon Bedrock AgentCore与GitHub Actions集成,实现了对AI智能体的自动化评估与质量控制。该解决方案的核心功能包括:
- 自动化部署与评估:利用AWS CDK(Cloud Development Kit),智能体和MCP服务器被部署到AgentCore运行时。随后,智能体通过预设的评估提示进行调用,并使用AgentCore Evaluate API对响应进行评分。
- OAuth支持与安全认证:该方案支持OAuth保护的MCP服务器,并采用OpenID Connect (OIDC) 联合认证机制,使CI/CD流水线能够安全地调用受保护的智能体。
- 质量控制机制:如果智能体的评估分数低于预设阈值,Pull Request将被自动阻止,从而防止性能下降的代码进入生产环境。
主要技术亮点
-
AgentCore Evaluations:作为Amazon Bedrock AgentCore平台的质量测量层,AgentCore Evaluations使用大型语言模型(LLM)作为评判标准,对智能体的行为进行评分。它能够读取Amazon CloudWatch中的OpenTelemetry跟踪数据,并从多个维度(如有用性、准确性和工具选择准确性)对响应进行评估。
-
三种评估模式:“不支持按需评估”、“在线评估”和“批量评估”三种模式分别适用于不同的场景。按需评估适用于CI/CD质量控制,在线评估用于持续监控生产流量,而批量评估则适用于对多个会话进行评分。
-
多层次认证:MCP服务器采用三层认证模式,包括JWT验证、请求头传递和基于角色的工具访问控制。这种设计确保了CI/CD流水线能够安全地调用受保护的智能体,同时保持生产环境中的角色强制执行。
-
内置评估器:AgentCore提供多种内置评估器,涵盖会话、跟踪和工具调用等不同层面。例如,GoalSuccessRate评估器用于判断对话是否达到用户目标,而ToolSelectionAccuracy和ToolParameterAccuracy评估器则用于验证工具选择和参数传递的准确性。
行业影响与开发者建议
- 提升智能体质量保障:通过自动化评估,开发者可以更早地发现智能体性能问题,从而提高智能体在生产环境中的可靠性。
- 简化CI/CD流程:该方案将智能体评估集成到现有的CI/CD流程中,开发者无需手动进行测试和验证,节省了大量时间和精力。
- 支持多种评估模式:开发者可以根据具体需求选择不同的评估模式,例如在开发阶段使用按需评估,在生产环境中使用在线评估。
开发者建议
- 从简单评估器开始:建议开发者从GoalSuccessRate、Correctness等基础评估器开始,逐步添加更复杂的评估器,如Trajectory evaluators和Safety evaluators。
- 使用代码基评估器:对于需要确定性检查的场景,可以使用代码基评估器来补充LLM-as-judge评分。
- 优化评估阈值:根据不同环境(开发、测试、生产)调整评估阈值,以平衡评估的严格性和智能体的可用性。
结论
AWS推出的这款自动化智能体评估流水线为AI开发者提供了一种高效、可靠的智能体质量控制机制。通过将智能体评估集成到CI/CD流程中,开发者可以更早地发现并解决智能体性能问题,从而提高智能体在生产环境中的可靠性和安全性。
—— 完 ——消息来源:AWS Machine Learning Blog (2026-09-08)
主题标签: #AWS #AgentCore #CI/CD #智能体评估 #MCP服务器
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区