标准银行用LLM评审将生成式AI风控报告压至两小时
摘要:标准银行集团与 AWS Professional Services 在银行自有 AWS 账户内部署生成式 AI 风险评估流水线:Fargate 预评估智能体扫描代码与文档,Step Functions 编排证据采集、应用实测和 Bedrock 上的 LLM 评审,300 多项检查把国际标准及内部政策映射为可追溯证据。风险委员会仍握有最终审批权。AWS 称,在 6 次评估中,过去约两周的人工审查被压缩为约两小时生成的综合风险报告,整改后用例风险分改善 14%。但案例未披露评审模型、误判率、成本与统计方差,且明确不等于合规认证。
标准银行集团与 AWS Professional Services 已在银行自有 AWS 账户内部署一套生成式 AI 风险评估流水线。它没有把模型判断直接包装成“合规结论”,而是把审批过程拆成可审计的证据链:代码、政策文档与在线调用结果先被固化,再由 LLM 对具体控制项作窄域判定,风险委员会基于同一套材料保留最终决定权。
四阶段架构
整体链路可概括为:
用例登记 → Fargate 证据智能体 → S3 证据库 → Step Functions 编排 → 制品检查与在线探测 → Bedrock 评审 → 风险聚合 → SSO 人工复核与 CloudWatch 追踪
-
证据预采集。 AWS Well-Architected Tool 中的自定义 Lens 包含约 40 个风险问题,覆盖技术文档不完整、人工监督不足等场景。运行在 AWS Fargate 上的预评估智能体扫描代码仓库和项目文档,将相关文件映射到具体问题,并预先填入答案和证据链接。交付团队仍需修正错误并补充智能体未能找到的材料。
-
制品检查与应用实测。 文档、代码、测试结果统一保存在银行账户内的 Amazon S3。流水线综合四类证据:系统设计文档、角色与事件处理等政策文件、源代码及系统提示词,以及对应用发起的真实调用。在线测试通过 Lambda 函数或 API 注入常规问题、内置越狱提示和离题问题,再以原始及改写形式重复同一提示。Amazon Bedrock 上的嵌入模型用于检查语义一致性;若业务方提供预期答案,系统还会计算实际输出与答案的接近程度。
-
LLM-as-a-Judge 控制评估。 基础模型通过 Amazon Bedrock 调用,不做微调,仅针对每项控制判断证据是否存在并返回是或否。控制项总数超过 300 项,既来自国际 AI 管理、风险与安全框架,也来自标准银行内部政策。Amazon Bedrock Guardrails 拦截有害内容和模型操纵尝试;每次检查重复执行,以暴露结果不一致,但最终判断仍需由人工审核。
-
面向不同角色的报告。 流水线生成管理层演示、整改清单、详细技术报告和 CloudWatch 风险趋势面板。审核人员通过单点登录进入复核界面,可以检查问题、修改答案并填写业务理由,再由风险委员会作出批准决定。
从控制条款到风险评分
每项风险至少包含三个输入:发生可能性、未找到的必需证据比例,以及风险团队可调整的固定严重度。系统可抽象为 R = f(L, M, S),但原文没有披露具体公式、权重或聚合顺序,工程上不应自行假定其可跨银行复用。聚合结果从 Very low 到 Critical,每条缺失证据都会关联整改措施及对应的标准或政策条款,从而形成从发现到修复再到复核的审计链。
标准银行还使用 Question Factory 将内部政策语言转换为 Judge 问题。政策更新后,同一检查会自动作用于后续用例,减少人工维护问卷的负担。原文将 AWS 负责任 AI 维度称为八类,但表格实际列出九项;真实实现应维护版本化控制目录,而不是依赖叙述中的维度计数。
工程权衡
确定性与语义判断需要分层。 文件是否存在、是否包含指定章节、API 返回码是否符合要求,适合用正则、AST、配置解析和单元测试做确定性检查;代码与文档是否实质满足某条治理条款,才适合交给 LLM。把所有控制都交给模型会增加成本,也会让本可确定复现的检查变成概率性判断。
重复执行衡量的是一致性,不等于正确性。 窄域的是非题、固定公式和多次运行可以降低自由文本带来的波动,但同一模型仍可能共享偏差,例如误判代码中的隐含控制、偏好某种文档结构,或把“没有找到证据”误当作“控制不存在”。因此还需用人工金标准集测量 Judge 的假阴性、假阳性和跨模型漂移,并固定提示词、模型版本和控制版本。
成本主要随上下文和重复次数增长。 若第 i 项检查需要 C_i 个输入 Token,重复 R_i 次并输出 T_i 个 Token,则总 Token 量近似为 Σ R_i(C_i + T_i);在线调用、嵌入计算和报告生成还会增加网络及托管服务费用。Step Functions 适合表达状态机和重试,但原文没有披露并行度、缓存策略、Bedrock 定价、延迟分位数或并发容量。
在线测试本身可能改变被测系统。 对生产应用注入越狱提示或其他请求,若接口具有写操作、计费或数据留存副作用,评测本身会污染环境。更稳妥的做法是使用隔离账户、合成租户和只读快照,并为每次探测生成不可变 run ID。
数据驻留改善不等于风险消失。 系统运行在银行自己的 AWS 账户内,并沿用 IAM、S3 和 Bedrock 的访问控制。按案例引用的 AWS 服务说明,Bedrock 不向模型提供商共享提示词或输出,也不使用这些数据训练模型;但银行仍需处理代码、提示词和响应中的敏感信息,并对仓库内容中的提示注入进行隔离。
实测表现与证据边界
AWS 称,在 6 次评估中,过去通常需要约两周人工介入的流程,缩短为约两小时生成的综合风险报告;完成整改后,用例风险分改善 14%。这些数字说明自动化主要压缩了证据收集、测试和报告准备时间,并不意味着风险委员会可以在两小时内完成责任审批。
案例由 AWS 与标准银行联合发布,具备一手实施价值,但样本仅 6 次,也没有对照组。评审模型、提示词、温度、重复次数、Judge 误判率、人工复核耗时、整改前后绝对分值、成本和统计方差均未披露;14% 的改善也未拆分是来自证据补齐、控制设计还是评分函数变化。因此,该结果适合作为架构参考,不应被当作 LLM 评审准确率或监管遵从性的通用基准。
开发者落地建议
- 先建设控制注册表。 为每项控制分配稳定 ID,记录标准条款、证据类型、判定问题、严重度、适用区域和版本;让报告引用控制 ID,而不是依赖模型复述政策。
- 采用确定性优先的混合判定。 能由代码或配置直接验证的规则先用静态分析和自动化测试,只有语义充分性判断才调用 LLM;对模型判定保留引用证据 ID、理由、不确定性和运行元数据。
- 单独校准 Judge。 建立覆盖不同代码语言、文档质量和应用类型的金标准集,测量误报、漏报、重复运行一致性及模型升级回归;不要把多次回答一致率当成评审正确率。
- 隔离评测副作用。 在线探测使用沙箱、合成数据和最小权限凭据;对写操作、计费接口和敏感数据路径设置明确禁区。
- 把证据做成不可变对象。 对 S3 中的输入、输出、提示词、模型版本和评分结果计算哈希并启用版本控制,配合 KMS、CloudTrail、最小权限 IAM 和按期留存策略。
- 嵌入完整生命周期。 PoC 阶段运行发现缺口,构建阶段作为强制门禁,上线前执行正式评估;上线后由代码、模型、提示词或配置变更事件触发增量复评,并持续监控证据覆盖率、Judge 一致性、误报率、整改时长和风险漂移。
—— 完 ——消息来源:AWS Machine Learning Blog (2026-11-20)
主题标签: #Standard Bank Group #AWS #LLM-as-a-Judge #AI治理 #Amazon Bedrock
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区