ArisGlobal重构提示前缀缓存,NavaX月度推理成本降四成
摘要:ArisGlobal 将生命科学 AI 引擎 NavaX 运行在 Amazon Bedrock 后,发现多租户共享提示前缀半年内从 7.2 万增至 18 万 token,原有“文档优先”缓存只能复用单个病例,成本随请求量放大。团队改用“共享前缀优先”,在系统规则、Schema 与少样本示例后设置检查点,使 65% 输入 token 命中缓存。内部生产数据称,输入成本下降约 50%,每月逾 190 亿 token 的推理支出下降约 40%,缓存请求端到端延迟最多降低 25%。其关键经验是缓存价值取决于复用频率而非内容大小,但数据来自单一厂商案例,仍缺质量回归与独立复现。
核心结论:缓存边界比缓存对象大小更重要
ArisGlobal 的 LifeSphere NavaX 是面向药物警戒、临床与法规流程的生命科学 AI 引擎。其动态数据提取(DDE)智能体会从通常为 10 至 200 页的不良事件 PDF 中提取约 130 个字段,包括患者信息、疑似药品、事件时间线、严重性标准与监管分类。NavaX 于 2025 年 3 月在 Amazon Bedrock 上基于 Anthropic Claude 投入生产,内部遥测显示已处理超过 100 万笔真实业务事务和数十亿 token。
这项优化的核心并非新增模型或更换推理框架,而是重新定义提示词的物理顺序和缓存边界:缓存最常复用、且字节级稳定的共享前缀,而不是体积最大但只在一个病例内重复的 PDF 文档。
NavaX为何陷入提示膨胀成本曲线
NavaX 将一个病例拆成多个串行模型请求,每个请求通常包含四类内容:
- 系统指令、合规规则与输出格式;
- 不同 pharma 租户各自的字段映射和业务规则;
- 约 130 个目标字段组成的提取 Schema、校验规则与少样本示例;
- 当前病例的完整不良事件文档,以及本次要提取的特定区块。
其中,系统规则、基础 Schema 和少样本示例会在使用同一 Agent 的多个请求、病例乃至租户间重复,因而构成可缓存的共享前缀;病例文档只在同一病例的多次请求间重复。
问题在于,ArisGlobal 最初采用“文档优先”顺序:先把病例 PDF 放在请求开头,再设置缓存检查点。这样确实可以让同一病例后续请求复用文档,但下一病例的文档发生变化,缓存无法跨病例延续。更严重的是,真正不断膨胀的共享前缀位于检查点之后,每次调用都按普通输入价格重新处理。
六个月内,共享前缀从约 72,000 token 增长到 180,000 token,增幅约 150%;由于每个病例包含多次串行请求,单病例推理成本随之增加超过 200%。成本曲线因此同时受前缀长度和请求数量放大。
从文档优先改为共享前缀优先
ArisGlobal 的生产设计没有增加检查点,而是交换了前缀与文档的位置:
| 维度 | 原设计 | 生产设计 | |---|---|---| | 请求顺序 | 病例文档 → 检查点 → 共享前缀 | 共享前缀 → 检查点 → 病例文档 | | 被缓存对象 | 单病例唯一文档 | 跨请求、病例及可兼容租户复用的稳定前缀 | | 复用范围 | 同一病例的后续请求 | 整个工作负载中的同类请求 | | 代价 | 共享前缀始终按全价处理 | 单病例文档复用能力被放弃 |
Amazon Bedrock 的提示缓存只识别从请求起始位置开始的连续前缀,而不是任意文本块。因此,检查点之前任何字节变化都会使后续匹配失效;工具定义、系统消息和消息内容还按固定顺序求值。生产请求应尽量采用 tools → system/compliance → schema/few-shot → cachePoint → tenant rules/ID → case PDF → section question 的布局,但只有真正稳定且跨请求相同的内容才能放在检查点之前。
如果租户名称或专属规则不同,就不能把它们视为跨租户共享前缀,否则会人为制造缓存碎片。报告所说的“跨租户复用”,工程上仍应以实际请求前缀是否字节级一致为准。
这里的 Prompt Caching 是 Bedrock 服务层的输入前缀缓存,与一次生成内部用于注意力计算的运行时 KV Cache 不是同一机制。它可以降低重复输入的计费与部分处理开销,但不会缩短模型可见的上下文,也不会消除长前缀对上下文窗口和注意力预算的占用。
缓存机制、TTL与检查点约束
Bedrock 支持两种管理方式。支持的 Claude 模型可使用显式检查点,每个请求最多设置四个;Claude Sonnet 4.5 的检查点前缀至少需要 1,024 token。简化缓存管理只放置一个检查点,服务会从该位置向前搜索最长匹配前缀,查找范围约为 20 个内容块。若稳定内容超出回溯范围,仍应采用显式检查点。
默认缓存 TTL 为 5 分钟,成功命中会重置 TTL;支持的模型可选择 1 小时 TTL,但更长的 TTL 条目必须排在更短条目之前。ArisGlobal 的活跃租户约每 5 分钟收到一个病例,持续命中足以在工作时间维持缓存热度;对流量更稀疏的业务,则需要评估更长 TTL 是否能覆盖写入成本。
任何时间戳、请求 ID、租户标识、动态工具参数、工具顺序变化或序列化差异,都可能破坏前缀匹配。缓存键实际关注的是可复用内容,而不是业务上看起来“相同”的语义内容。
成本模型:为什么复用频率决定收益
设普通输入费率为 c_f、缓存写入费率为 c_w、缓存读取费率为 c_r,同一前缀写入一次后被读取 R 次,则可以用一个简化模型比较:
- 不使用缓存:
C_uncached = (R + 1) × c_f - 使用缓存:
C_cached = c_w + R × c_r
在缓存读取价格低于普通输入价格的通常情形下,盈亏平衡条件可写为 R > (c_w - c_f) / (c_f - c_r)。它说明缓存价值取决于三个乘积:前缀长度、读取折扣和同一前缀的复用次数。若缓存条目主要服务单个病例,即使 PDF 再大,读取次数不足也难以摊销写入成本;反之,一段中等长度的系统提示若能被整个租户池反复读取,经济价值会更高。
ArisGlobal 报告的生产指标验证了这种规模效应:典型请求中 65% 的输入 token 来自共享前缀缓存,CloudWatch 中缓存读取量约为写入量的 10 倍;有效输入成本下降约 50%,在每月处理超过 190 亿 token 的情况下,总推理支出下降约 40%,缓存命中请求的端到端延迟最多降低 25%,并支持约 15% 更多企业租户接入而未出现同比例成本增长。欧盟区域的跨 Region 推理配置没有改变。
输入成本下降 50% 而总支出只下降 40%,符合成本构成:输出 token、未缓存的病例文档和请求级动态内容仍按原费率处理,缓存折扣不会作用于这些部分。
工程权衡与证据边界
放弃病例内文档复用,换取全局前缀复用。 在文档后再加一个检查点,理论上可以缓存“共享前缀 + 当前文档”,但该组合仍只属于一个病例,写入多、复用少,还增加缓存条目管理复杂度。ArisGlobal 选择只保留共享前缀检查点,是针对流量分布做出的经济取舍,而非提示缓存能力的全面提升。
计费下降不等于质量风险为零。 报告没有披露字段级准确率、召回率、Schema 合规率、幻觉率或人工复核差异。生产设计同时改变了系统指令与病例文档的相对位置,不能仅凭缓存机制假定输出完全不变;长上下文中的指令显著性、注意力分配与字段抽取表现都应做 A/B 回归。
长前缀仍然存在。 180,000 token 的共享内容依旧占用模型上下文并参与每次推理。缓存解决的是重复输入的价格与部分时延,而不是提示膨胀本身。更进一步压缩 Schema、示例和规则,仍是降低注意力成本与尾延迟的必要工作。
命中率高度依赖流量和前缀稳定性。 默认 5 分钟 TTL 在突发流量下容易形成冷启动;把动态字段放在检查点前又会直接造成 miss。监控应同时观察读取、写入、总输入 token 与命中率,而不是只追踪总账单。
合规控制不能被缓存优化绕过。 病例文档含受保护健康信息,NavaX 使用 Amazon Bedrock Guardrails 过滤或遮蔽敏感内容。共享缓存应只承载经过审核的规则、Schema 和示例,不能把租户专属数据误当作公共前缀;跨租户复用还需与数据驻留、访问控制和审计策略共同验证。
数据属于单一客户自报。 案例提供了 token 量级、缓存读取比例和延迟区间,却没有公开绝对账单、定价版本、p50/p95 尾延迟、流量分布、实验周期或独立对照组。图表能说明趋势,不能替代统一负载下的可重复基准。
开发者的落地建议
- 按复用率而非长度拆分提示词。 将工具定义、系统规则、Schema 和稳定示例归入候选前缀;租户字段、病例内容、时间戳与请求问题归入动态后缀。
- 先验证字节级一致性。 检查 JSON 序列化空白、工具顺序、数组顺序和动态字段泄漏,避免“语义相同但缓存不命中”。
- 显式控制缓存边界。 稳定内容超过简化模式回溯范围时使用显式检查点;支持模型上再按流量选择 5 分钟或 1 小时 TTL。
- 按请求链合并调用。 文档仍需在每个分段请求中处理时,可在输出长度与 Schema 约束允许的前提下合并相邻提取任务,从源头减少重复调用。
- 建立质量与成本双基线。 除缓存读写和总 token 外,同时跟踪字段准确率、Schema 校验失败率、人工复核时长、p95 延迟和单成功病例成本。
- 用真实流量回放估算收益。 分别统计每个前缀的唯一版本数、写入频率和读取倍数;如果租户规则导致前缀高度分叉,应考虑按 Agent 版本或规则族拆分缓存。
- 保留合规与隔离边界。 对共享内容做版本治理和敏感信息扫描,对租户专属内容保持后缀化与最小化暴露。
最终判断
ArisGlobal 的案例说明,在多租户、长上下文和多次串行调用的 Agent 工作负载中,缓存价值取决于“前缀长度 × 读取折扣 × 复用次数”,而不是被缓存文本的物理大小。NavaX 通过把检查点移到共享系统前缀之后,在不改变模型和欧盟跨 Region 推理配置的情况下实现了约 40% 的月度推理节省。
这不是对所有企业的固定折扣承诺。稀疏流量、频繁改版、租户专属前缀或质量回退都可能削弱收益。更可靠的实施路径是先用请求日志计算每个前缀的写入与读取分布,再通过同一模型、同一价格版本和同一流量回放比较账单、延迟与抽取质量。
—— 完 ——消息来源:AWS Machine Learning Blog (2026-11-17)
主题标签: #Amazon Bedrock #提示缓存 #NavaX #Claude #LLM推理优化
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区