AWS用Aurora PostgreSQL构建可追溯RAG责任AI控制
摘要:AWS发布面向Aurora PostgreSQL的责任AI参考架构,把公平、可解释、隐私安全等八个维度映射到pgvector、RLS、pgaudit、pg_cron及Bedrock Guardrails,并以可追溯RAG客服机器人详解可解释性。方案在SQL层记录检索块、相似度、实际引用来源和护栏轨迹,支持租户隔离、审计归档与人工复核;但原文未给出端到端时延、成本、召回率或误拦率,0.7相似度阈值及“置信度”定义仍需按业务数据校准。
核心设计:把责任 AI 控制放进数据层
AWS 给出的并非新模型或新服务发布,而是一套面向 RAG 系统的责任 AI 参考架构。它将公平性、可解释性、隐私与安全、安全性、可控性、真实性与稳健性、治理及透明度八个维度,映射到 Aurora PostgreSQL、pgvector、Bedrock Guardrails、IAM、CloudTrail 等组件,并以“可解释性”作为第一篇的深入实现。
| 责任 AI 维度 | 主要落点 | | --- | --- | | 公平性 | 多语言测试集、SageMaker Clarify、元数据过滤与 SQL 视图 | | 可解释性 | 检索块、相似度、引用来源、模型及护栏轨迹日志 | | 隐私与安全 | 入库前 PII 脱敏、RLS、pgcrypto、IAM 与最小权限 | | 安全性 | Bedrock Guardrails 内容过滤、拒绝主题和提示注入防护 | | 可控性 | 人工升级、反馈表、功能开关、提示控制与 kill switch | | 真实性与稳健性 | RAG 约束、相似度阈值、文档版本及输入校验 | | 治理 | pgaudit、CloudTrail、模型版本记录与 S3 归档 | | 透明度 | AI 身份提示、引用、隐私说明及 AI Service Cards |
架构的关键变化是把 RAG 的证据链持久化到业务数据库,而不是只保留一段最终答案。审计人员可以直接用 SQL 检查某次回答检索了什么、模型实际引用了什么、护栏作出了什么判断。
技术机制:从摄取到回答的完整溯源链
数据摄取与向量化
支持工单、FAQ 和产品文档在写入知识库前先完成 PII 脱敏。若使用 Bedrock Guardrails 的 ApplyGuardrail,需要配置 ANONYMIZE 类 PII 策略才能得到掩码文本;若采用阻断策略,被标记内容可能不会产生可写入的输出。
Aurora ML 扩展允许在 SQL 中调用 aws_bedrock.invoke_model_get_embeddings,直接生成 Amazon Titan Text Embeddings V2 的 1024 维向量。向量写入 VECTOR(1024) 列,并由 pgvector 的 HNSW 索引提供近似最近邻搜索。这样可避免为嵌入任务单独建设一套 ETL 和数据同步链路,但数据库集群仍需绑定具备 bedrock:InvokeModel 权限的 IAM 角色,调用目标也受部署区域限制。
文档与查询必须使用相同模型及兼容版本生成向量。更换嵌入模型后,即使列维度不变,旧向量与新向量也未必处于同一语义空间,直接混用会造成静默的召回退化。
在线检索与生成
请求路径由 API Gateway、Lambda、Aurora PostgreSQL 和 Bedrock 串联:
- Lambda 接收用户问题,并通过 Aurora ML 生成同模型、同维度的查询向量。
- Aurora 使用 pgvector 的余弦距离运算符
<=>计算距离,并以1 - distance转换为相似度。 - 检索同时应用租户、意图类别和相似度阈值。RLS 通过
SET LOCAL app.current_tenant限定可见行,租户标识应由可信服务端上下文生成,不能直接采用客户端传入值。 - Lambda 把问题与检索片段组成增强提示,并使用
[Source N]标记来源。 - Bedrock Guardrails 检查 PII、内容过滤、拒绝主题和上下文落地情况;模型基于检索上下文生成答案。
- 系统把检索结果、护栏轨迹、模型标识、引用及耗时写入
chat_interactions,再向用户返回答案与来源。
示例实现使用 0.7 的余弦相似度阈值并请求最多 5 个片段。这个数值不是通用基线:不同嵌入模型、语言、文档切分方式及业务问题都会改变分数分布,阈值应由标注集上的召回率、回答质量和误拒率共同确定。
可解释性与治理数据模型
chat_interactions 表将以下信息放在同一交互记录中:请求与响应文本、检索块 ID、逐块相似度、实际引用来源、全部检索来源、护栏评估轨迹、模型 ID、护栏版本及端到端延迟。这里最重要的设计是区分“检索到的来源”和“模型实际引用的来源”,因为两者的差集能够暴露模型忽略上下文、引用错位或生成无依据回答。
示例把 confidence_score 定义为 Top-K 检索片段的平均余弦相似度。它只能作为启发式筛选信号,不能被解释为答案正确概率:相似片段可能本身已经过时,向量距离也未校准为事实可信度。生产系统若用它触发人工复核,应同时结合引用完整性、护栏结果、来源时效性和业务反馈。
pgaudit、pg_cron、CloudTrail 与 S3 归档共同补足治理链路。归档与清理被放进同一任务,只有导出成功后才删除到期交互及反馈,避免两个独立定时任务造成“导出失败但数据已被清除”的事故。生产环境还应核对 S3 对象行数、校验和及清单,不能仅依赖数据库函数返回非空值。
工程权衡:召回、吞吐、成本与隐私
- HNSW 召回与过滤顺序:HNSW 是近似索引,并非精确全表排序。类别和相似度阈值作为扫描后的过滤条件时,最终结果可能少于
LIMIT指定数量;提高hnsw.ef_search或使用新版 pgvector 的 iterative index scans 可以改善召回,但会增加查询延迟和 CPU 消耗。HNSW 本身也会占用额外内存并产生索引构建成本。 - 多层调用的尾延迟:一次请求包含问题嵌入、向量检索、Bedrock 生成、护栏评估和日志写入。同步执行任一环节都会进入端到端延迟,Guardrails 还按文本单元计费,上下文落地检查有额外成本。原文未提供各环节 p50、p95 或 p99 分解。
- 数据库内推理的取舍:Aurora ML 消除了额外的嵌入服务集成,但数据库执行会同步等待 Bedrock 返回。大批量摄取时,更适合分批更新或采用异步管道,避免长事务占用连接、锁和数据库资源。
- RLS 与 ANN 的交互:RLS保证行级可见性隔离,但租户谓词与 ANN 扫描计划如何组合,仍会影响索引使用率和召回表现。应针对多租户规模测试过滤前后的 Recall@K,而不能只验证“数据没有越权返回”。
- 日志本身成为敏感数据副本:即使源数据已脱敏,原始问题和回答仍可能包含新出现的 PII。日志表必须应用 RLS、加密、严格授权和保留期限;对
pgcrypto的使用不能替代访问控制。 - “落地检查”不等于事实核验:Guardrails 的上下文落地检查只能判断回答是否得到所提供上下文支持,不能证明来源本身正确,也不能发现知识库中的过期政策。
实测表现:功能闭环可查,性能仍待验证
AWS 给出的验证方法是执行一次端到端问题,再读取最新一条 chat_interactions 记录。预期结果包括:实际引用来源是全部检索来源的子集、通过阈值的片段相似度不低于 0.7、正常请求的护栏动作为 NONE;如果没有产生引用,则应把回答视为缺乏落地依据。
这些检查证明了溯源字段能够形成可查询的审计闭环,但不是性能基准。原文没有披露端到端延迟、生成吞吐、每千次交互成本、HNSW Recall@K、护栏误拦率与漏拦率,也没有给出不同租户规模或文档规模下的对照数据。因此不能据此宣称该架构比独立向量库或托管 RAG 服务更快、更便宜或更准确。
开发者落地与部署建议
- 先确认是否真的需要自建。 如果默认检索和引用行为满足需求,Amazon Bedrock Knowledge Bases 是更简单的路径。只有当团队必须在自有 schema 中保存检索来源、实际引用、分数和护栏轨迹时,才值得维护自定义日志链;采用托管能力时仍需核对 Aurora PostgreSQL 向量存储在各区域的可用性。
- 锁定嵌入模型与版本。 为知识库和查询使用同一模型、维度及版本策略,在模型升级时执行全量重嵌入和召回回归,不要仅依靠
VECTOR(1024)类型约束判断兼容性。 - 把隐私控制前移。 在摄取阶段和交互日志写入前都执行脱敏;使用
FORCE ROW LEVEL SECURITY、非所有者应用角色、事务级租户上下文和最小 IAM 权限。审计日志与原始知识库应采用相同或更严格的保护等级。 - 建立检索评测集。 按语言、意图、时间段和租户统计 Recall@K、精确率、引用正确率及无答案率,再确定
top_k、相似度阈值和hnsw.ef_search。0.7 和 0.8 都只能作为示例起点。 - 补齐引用解析的鲁棒性。 对
[Source N]标记去重并校验编号范围,防止重复标记抬高 citation rate。模型未严格遵循标记格式时,应把解析失败显式记录,而不是默认为零引用。 - 拆分可观测性指标。 除平均相似度外,记录嵌入、检索、护栏、生成和日志写入的分段耗时,并跟踪每千次交互成本、无引用率、低质量反馈率、人工升级率与租户隔离测试结果。
- 验证归档与恢复。 在清理前执行对象校验和、清单核对及恢复演练,确保 S3 导出失败、对象不完整或权限变化时不会误删交互记录。
- 保留人工兜底。 为低置信度、无引用和护栏介入请求提供人工升级路径,并配置可立即停止生成与检索的 kill switch。
这套方案的价值不在于提出新的 RAG 算法,而在于提供一条可以落到 SQL、权限策略和审计任务上的治理工程路径。它适合已经使用 Aurora、Bedrock 和 pgvector,并面临合规审计压力的团队;对于需要独立向量数据库、多模型路由或复杂混合检索的系统,则应先比较托管服务的运维收益与自建控制面的实际价值。
—— 完 ——消息来源:AWS Machine Learning Blog (2026-11-18)
主题标签: #AWS #Aurora PostgreSQL #RAG #责任AI #pgvector
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区