Bedrock AgentCore处理20MB JSON:Token最高降71%,延迟降80%
摘要:AWS 展示 Flightscape 在 Bedrock AgentCore 上处理 20MB 以上 JSON 智能体的三层方案:重型产物卸载至 S3 并以 SHA-256 内容寻址;超大列表只返回计数、样本和句柄,按需分页;嵌套字典改用结构描述符。官方同题对照中,5 问会话总 Token 降 71%,平均追踪延迟从 15.4 秒降至 3.1 秒;100 问样本分别下降 64% 与 69%。方案实用,但质量回归、尾延迟、S3 开销及多租户安全仍需独立验证。
核心结论
AWS 给出的不是新模型,而是一套可复用的 Agent 上下文工程方案。航空运营平台 Flightscape 的 Training Schedule Optimization 智能体接入 40 多个工具,输入 JSON 可超过 20 MB;旧流程把请求、响应和校验报告直接放进 LangGraph 状态,并在每次工具调用后把完整结果送进模型上下文,导致上下文在多轮对话中反复膨胀。优化后,单轮执行变成 hydrate_state → tool → compact result → optional get_result_page_tool → dehydrate_state:大对象留在 S3,模型只持有引用和可导航的摘要。
这不是把计算藏到模型外,而是把上下文从数据通道降级为控制通道。对采用稠密注意力的典型模型,prompt 长度 L 增大时,prefill 的注意力计算理论最高可达 O(L²),KV Cache 占用也随 L 线性增长;即使底层使用 FlashAttention 一类 kernel 避免显式实例化注意力矩阵,输入 token 与 KV 压力仍然存在。缩短有效上下文因此同时改善计费 token、prefill 阶段耗时和可承载的会话长度。
三种优化如何协同
1. 持久状态瘦身:S3 承担数据面
系统把运行时的 GraphState 与持久化的 PersistedState 分开。前者保留工具执行所需的已解析领域对象;后者只保存序列化消息以及 request_ref、responses_ref、validation_report_ref 等 S3 引用。会话恢复时先从 AgentCore Memory 还原轻量状态,再按需取回并解析重对象;回合结束时执行脱水,把新产物写回 S3。
引用不是随机 key。实现先以排序键和紧凑分隔符生成规范化 JSON,再计算 SHA-256,用摘要作为对象地址。内容相同会落到同一 key,重复写入具有幂等性;进程内缓存还能省去同一调用中的重复 PUT 或 GET。其价值不仅是少存数据,更是避免多轮会话反复序列化、重传和重新计算相同的大段 JSON。
代价也很明确:大型 JSON 的规范化与哈希会消耗 CPU,脱水和水合会增加 S3 往返及冷启动延迟,AgentCore Memory 压力虽然下降,S3 请求、存储和跨区流量却可能成为新成本项。内容寻址只解决去重,不提供租户隔离;生产环境仍需按会话或用户鉴权、加密、设置生命周期策略,并处理对象删除后的悬空引用。
2. 大列表按需分页:先给目录,再给切片
当工具结果长度超过样本阈值,系统把完整列表写入 S3,只向模型返回 total、少量 sample 和 _result_handle。模型真正需要细节时,再调用 get_result_page_tool,按 handle、字段、offset 和 limit 取回指定切片。这把一次固定的巨型 tool result 改成显式检索协议,避免模型在第一次调用时就为无关行支付上下文成本。
分页不是免费午餐。模型可能连续翻页,重新把大量数据塞回上下文;offset 也只适合稳定快照,若底层列表持续变化,应改用版本化快照或 cursor。更合理的接口是在服务端先执行过滤、投影与聚合,再对小结果分页,而不是让模型逐页遍历原始数据。
3. 嵌套字典压缩:保留结构线索,丢弃正文
列表之外的工具常返回深层嵌套字典。原方案将其完整序列化;当结果超过字符上限时,优化器改用描述符:列表字段保留数量和样本,嵌套字典保留键数量,标量按需内联,同时附上结果句柄。模型仍可判断数据形状并决定是否深入读取,但单次工具响应不再携带所有业务正文。
描述符会损失字段间相关性、异常值和约束信息,模型也可能误把 keys: 12 误解为内容完整。工程上应明确标记摘要语义,给关键字段配置白名单,限制单回合最大取回量,并在生成最终答案前把必要明细验证到业务规则,而不是仅依赖模型自行发现缺页。
工程权衡
- 上下文换存储与网络:token 和 AgentCore Memory 压力下降,但 S3 GET/PUT、序列化、哈希与连接池可能抬高 p95 延迟;应在同一区域部署,并监控跨区流量。
- 摘要换信息完整性:分页和描述符降低输入规模,却增加模型取回次数。优化目标应是每个成功任务的成本,而不是单次 tool response 最小化。
- 幂等换序列化约束:SHA-256 地址要求所有写入者使用同一规范化规则;浮点、时区、字段顺序和对象版本差异都可能造成本可复用却被视为不同对象。
- 状态分离换一致性风险:live state、AgentCore Memory 与 S3 是三套状态。需定义写入顺序、失败补偿和恢复语义,避免 Memory 已更新而 S3 产物尚未提交。
- 数据最小化不等于合规完成:句柄不是访问控制。敏感字段仍可能在样本、标量描述符、日志和模型请求中出现,必须配合脱敏、最小权限与审计。Bedrock Guardrails 可以过滤最终响应,但不能替代工具输出端的数据最小化。
官方实测如何解读
| 场景 | Token 变化 | 平均追踪延迟变化 | | --- | --- | --- | | 5 问连续会话 | 约 289,500 → 82,900,减少 71% | 15.4 s → 3.1 s,减少约 80% | | 100 个样本问题 | 23.6M → 8.5M,减少 64% | 7,930 ms → 2,461 ms,减少 69% | | 最重单轮查询 | 输入约 32,000 → 8,000;输出约 2,800 → 477 | 约 165 s → 9.9 s,减少 94% |
这些数字来自同一数据集、同一组问题下优化前后的对照,收益方向明确:主要变化来自避免完整 payload 注入,而非更换模型。但它们仍是 AWS 与客户案例的厂商口径。原文未披露所用 Bedrock 模型、提示词、采样参数、阈值、S3 网络位置、缓存命中、任务正确率、美元成本或 p95/p99;也没有证明描述符取回后的答案质量与原始全量上下文完全等价。因此,71% 和 80% 应理解为该代表性工作负载的最高观测值,不能外推到所有 AgentCore 应用。
开发者落地建议
- 先做上下文剖析:用 OpenTelemetry 或 AgentCore Observability 按工具统计输出 token、上下文长度、模型等待时间、重复 payload、S3 请求量与额外翻页次数,优先改造污染最大的工具。
- 分离 live state 与 persisted state:只把稳定引用写入 AgentCore Memory;为产物定义版本、租户、TTL 和恢复规则,避免把大对象换个字段继续内联。
- 按 token 而非列表长度设阈值:不同 JSON 的字符与 token 比例差异很大。用目标模型的 tokenizer 估算阈值,并分别设置返回样本上限。
- 提供服务器端聚合与过滤:让工具支持 count、group、filter 和 projection,再对少量结果分页;默认禁止模型无界翻页。
- 控制模型取回行为:提示词规定先看摘要、再按字段取详情;设置最大页数与总取回预算,取回后只把与答案有关的字段送回模型。
- 把安全边界放在句柄之外:句柄必须绑定用户、租户、会话和角色;S3 使用加密与生命周期规则,工具层再次鉴权,CloudTrail 记录读取行为。
- 做质量与尾延迟 A/B:同时比较任务正确率、规则违规率、幻觉、无效工具调用、每个成功任务成本、p50/p95/p99、S3 成本和失败恢复率。只有质量不降且尾延迟可控,token 降幅才有生产意义。
这套模式的核心不是某个 AWS API,而是 Agent 工具协议从默认返回全部数据转向返回可寻址的数据引用。它适合工具多、JSON 体积大、会话长的企业智能体;若工具结果本来就很小,引入 S3、摘要和额外状态机只会增加复杂度。
—— 完 ——消息来源:AWS Machine Learning Blog (2026-11-17)
主题标签: #Amazon Bedrock AgentCore #LangGraph #Amazon S3 #上下文工程 #Token优化
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区