Octave发布基于Amazon Bedrock的安全多租户AI基础架构

摘要：Octave推出基于Amazon Bedrock的安全多租户AI基础架构，通过Cohere Embed v4和Amazon Bedrock AgentCore实现数据隔离与智能体安全执行。该架构支持2亿文档的嵌入与检索，并成功应用于投诉分类助手，大幅提升合规效率并减少跨租户数据泄露风险。

---

技术架构与核心机制

Octave构建了一个安全的多租户AI基础架构，旨在解决在高度监管行业中处理敏感数据时的关键挑战。该架构的核心组件包括：

1. 数据准备层：利用Cohere Embed v4在Amazon Bedrock上进行文档嵌入，将2亿多文档转化为向量表示，并存储在Amazon OpenSearch Service的每个租户的向量存储中。

   • 技术亮点：Embed v4支持多模态数据（文本和图像）嵌入，消除了对不同数据类型的单独处理需求。此外，原生多语言支持减少了翻译预处理步骤。
   • 权衡与工程成本：尽管Embed v4提供了强大的功能，但其高维度（256-1536）向量表示对存储和计算资源提出了更高要求。通过测试，Octave选择了512维度的向量表示，在保证精度的同时，将存储需求降低了约66%。

2. 安全执行层：通过Amazon Bedrock AgentCore实现智能体的安全执行。每个用户会话在专用的microVM中运行，隔离CPU、内存和文件系统，确保不同租户之间的数据完全隔离。

   • 技术机制：AgentCore Gateway对用户请求进行认证和授权，确保智能体只能访问授权的数据和工具。
   • 权衡与工程成本：硬件级隔离提供了更高的安全性，但同时也增加了资源开销。Octave通过优化microVM的启动和销毁时间，将性能影响降至最低。

3. 内容保护层：在数据输入和输出阶段应用Amazon Bedrock Guardrails进行过滤，防止恶意内容注入和敏感信息泄露。

   • 技术机制：Guardrails在三个关键点进行过滤：附件提取、检索结果和合成输出。此外，AgentCore Code Interpreter在沙盒环境中运行，防止网络访问和持久化存储。

工程挑战与解决方案

1. 跨租户数据隔离：为了防止跨租户数据泄露，Octave将隔离机制从应用层推入到运行时层，通过microVM和AgentCore实现硬件级隔离。
2. 处理不可信内容：面对来自外部的不可信内容，Octave采用深度防御策略，结合输入过滤、输出过滤和沙盒执行，确保恶意内容无法影响系统。
3. 大规模文档嵌入：为了在一天内完成最大租户的嵌入，Octave优化了嵌入管道，通过批量处理和并行计算，将吞吐量提高到每秒28万个token。

实际应用与效果

Octave的投诉分类助手已上线三个月，显著提升了合规效率：一个原本需要从头开始调查的投诉，现在可以基于历史记录快速分类和分配优先级。

• 效率提升：每项调查的处理时间从4-6小时缩短到仅需处理新信息的时间。
• 开发周期缩短：AI功能的开发周期从数月缩短到数周，共享的数据准备、安全执行和检索层使新功能的部署时间减少了50%。

未来展望

Octave计划将这一基础架构扩展到Reliance套件的其他应用，包括审计准备监控、事件叙述生成和预测质量风险评分等。

开发者建议

对于面临类似挑战的平台，Octave的经验表明，通过构建一个安全的多租户AI基础架构，可以有效解决数据隔离与AI功能开发之间的矛盾。建议关注以下几点：

• 选择合适的嵌入模型：根据自身数据特点选择支持多模态和多语言的嵌入模型，并进行充分的测试以找到最佳维度。
• 实现硬件级隔离：利用microVM等技术实现不同租户之间的数据隔离，确保安全性。
• 优化嵌入管道：通过批量处理和并行计算提高嵌入效率，以满足大规模数据处理需求。
• 应用内容保护机制：在数据输入和输出阶段应用过滤机制，防止恶意内容注入和敏感信息泄露。

---

消息来源：AWS Machine Learning Blog (2026-10-20)

—— 完 ——

主题标签： #Octave 关注 #Amazon Bedrock 关注 #AI基础架构 关注 #多租户 关注 #安全 关注