智客 ZICQ
EN 登录 / 注册
智客前沿 智能体 #Airbnb #Amazon Bedrock #编码智能体 #成本可观测性 #LLM评测

Airbnb用单任务成本运营Bedrock编码智能体

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Airbnb披露内部编码智能体AirChat的生产化方法:请求经LLM网关进入Amazon Bedrock,发布前用真实工程任务评测模型与推理强度,发布后结合CloudWatch指标与网关记录持续调参。其核心不是单次调用价格,而是汇总任务内未缓存输入、缓存读写和输出Token,计算“单任务成本”。案例显示,高推理档成本可达低档2.5倍;评测接近的新模型在生产中却因更长会话导致单请求费用与调用频次同步上升。文章还给出OTPS诊断、TPM配额预留、Prompt缓存计费、IAM成本归因与降级切模方案。


核心事实与请求路径

Airbnb的内部编码智能体AirChat已被数千名工程师及工程相关岗位每周使用。AirChat既可运行在工程师的云端AirDev工作区,也可通过AirChat Remote在独立云工作区中执行任务;两条路径都先经过Airbnb自建LLM网关,再调用Amazon Bedrock上的模型。Bedrock负责模型基础设施,Airbnb则通过IAM、调用日志和CloudWatch指标实施访问控制与运行治理,代码、提示词和模型响应均在AWS侧处理。

模型供给变化极快:约五周内出现了八款新模型,到十月中旬,Airbnb编码智能体约三分之二的请求已经流向这些新模型。这种更新速度意味着,发布时确定的模型默认值、推理强度和配额假设很快就会失效。

Airbnb的闭环由两条数据链组成:

  1. 上线前评测链:真实工程任务分别运行不同模型和推理强度,生成质量分与单任务成本,用结果决定默认模型、默认推理档位及推理强度上限。
  2. 上线后观测链:LLM网关按请求记录模型、客户端、团队和用户,CloudWatch提供Token、延迟、错误和限流指标;聚合数据用于复核评测结论并调整容量与路由。

从单次调用转向单任务成本

一个编码智能体通常需要多次模型调用,每次调用还会重新读取此前的上下文。只比较每百万Token单价或单次请求价格,会忽略重试、上下文重读、工具循环和低质量尝试,因此Airbnb将成本单位定义为完整任务的公开标价成本。

对任务内的第j次请求,可按四类Token计算:

C_j = p_u × U_j + p_r × R_j + p_w × W_j + p_o × O_j

C_task = Σ C_j

其中U为未缓存输入Token,R为缓存读取Token,W为缓存写入Token,O为输出Token,四项分别采用对应模型的公开标价。Airbnb按模型、推理强度和智能体客户端记录平均成本,并将低分尝试一并计入,避免只统计成功运行而低估真实成本。

评测任务来自真实代码变更、评审意见以及工单没有明说的工程决策。Airbnb目前维护七类任务套件,由冻结数据上的测试程序或模型评审器评分;长任务还会在多轮执行中模拟评审者反问。示例评分覆盖交付正确性、验证质量、判断力、证据报告、自治能力、可读性、设计适配和运维纪律八个维度,并对需要人工多次救场的运行设置分数上限。任务目录可直接采用开源Harbor框架组织,包括沙箱环境、资源限制、测试和参考解法。

推理强度不能脱离质量单独优化。在Airbnb测试的一款模型上,从低档提高到高档只增加0.8分,但单任务成本升至2.5倍。系统因此不是简单开放全部档位,而是通过网关强制执行每个模型允许的推理强度上限。

评测合格不代表生产经济性合格

Airbnb的匿名模型A在相同评测集和评分器上比原默认模型高出三分以上,单任务成本也基本相同,因此被设为默认模型。但上线数周后,模型A的单次请求费用约为旧模型的三倍,每个用户平均请求数同样约为三倍,最终周均支出高出数倍。

成本结构解释了原因:输出Token仅占单次请求费用约十分之一,大部分支出来自智能体反复读取缓存上下文。模型A支持更长时间自主执行后,用户自然转向更长、更自驱的会话。评测测量的是模型在既定任务中的完成效率,生产测量则包含用户如何改变工作方式,二者并非同一个分布。

后续一款新模型在同一任务和评分器上得分更高,单任务成本却只有模型A的约六分之一。Airbnb将模型A的重度用户迁移过去后,首个完整周的主模型支出降至约七分之一,而请求数量基本不变。这说明模型路由不能只按静态排行榜决定,还必须持续比较真实任务的成本质量曲线。

CloudWatch运行时信号与延迟诊断

Airbnb使用AWS/Bedrock命名空间中的几组指标定位生产问题:

  • TimeToFirstToken:首Token等待时间,反映排队、预填充和网关开销。
  • InvocationLatency:完整调用延迟。
  • OutputTokenCount:输出长度,可用于区分模型变慢与回答变长。
  • InvocationThrottles:请求被限流的次数。
  • InputTokenCount、CacheReadInputTokenCount、CacheWriteInputTokenCount和OutputTokenCount:分别构成四类计费Token。

Bedrock没有原生的每秒输出Token指标,Airbnb通过以下方式推导OTPS:

OTPS = OutputTokenCount ÷ (InvocationLatency - TimeToFirstToken) × 1000

一个生产案例中,调用延迟上升40%,但TTFT和OTPS保持稳定。进一步检查发现,系统提示词被改为要求更详尽的回答,单请求输出Token增加50%;模型生成速度并未退化。Airbnb因此将提示词修改和模型升级都视为部署事件,在仪表盘上显式标记,避免把业务配置变化误判为模型性能回退。TimeToFirstToken仅由流式接口提供,因此需要该信号的调用必须使用ConverseStream或InvokeModelWithResponseStream。

TPM配额不等于最终账单

Bedrock在请求进入时先做配额准入检查。初始预留量可近似理解为:

reserved_tokens ≈ uncached_input + cache_write + max_tokens

其中缓存读取不计入配额;模型生成后,未使用的max_tokens预留会返还。输出Token则按模型的burndown倍率结算,多数模型为1:1,部分当前模型采用更高倍率。因此,缓存读取可能同时表现为低配额占用和高现金成本,仪表板若只按已结算Token统计,也可能低估准入压力。

Airbnb给出的案例中,TPM配额为100万,流量为每分钟300个请求,仪表板显示约30%配额占用;按5:1输出burndown计算,已完成请求实际消耗约77%。EstimatedTPMQuotaUsage同时覆盖缓存写入Token与输出倍率,适合提前告警,但阈值必须按具体模型的结算规则校准。

降低max_tokens可以释放准入容量。案例中原上限为4096,每次请求预留600个未缓存输入Token加4096个输出Token,共4696;降至1024后,预留降至1624,减少约65%,同时仍高于约800 Token的p99响应长度。在实际输出不变时,最终配额消耗不增加,但过低的硬上限会截断长答案,因此必须监控stopReason,并使用带抖动的指数退避及有限重试。

这项优化存在明确权衡:较小的max_tokens提升并发准入能力,却可能牺牲长程任务完成率;更高上限减少截断风险,却放大预留Tokens和突发限流。合理上限应由任务长度分布、p99输出、失败原因与质量评测共同确定,而不是凭经验设置。

成本归因、权限与生命周期治理

Bedrock运行时指标可按ModelId拆分,但只能看出由哪个模型处理请求,无法识别具体团队。Airbnb采用三类归因方式:

  1. IAM身份与会话标签:为调用角色启用成本分配标签,或传递会话标签,在Cost Explorer和CUR 2.0中按团队或用户汇总。网关调用时,Bedrock只能看到网关角色,因此网关需按用户承担角色或附加会话标签;凭证应在会话内缓存,避免每次请求调用AWS STS而触发限流。
  2. 应用推理配置:应用推理配置与具体模型绑定,因此可按应用和模型分别创建带标签的配置,并通过对应ARN调用。
  3. 请求元数据:Converse中的requestMetadata可进入模型调用日志,但不会直接进入账单,需要根据日志中的Token数量和公开价格自行计算。CUR与CUR 2.0缺少统一的逐请求ID,应按模型、用量类型和时间区间对账。

在按ModelId过滤指标时还需注意:在Bedrock解析模型之前就失败的请求只会出现在没有该维度的序列中,直接过滤可能低估错误率。

模型调用日志默认关闭,但启用后可能包含完整提示词、响应和调用者身份,必须限制读取权限并设置保留期。成本分配标签也应提前启用,因为系统不会回填此前的历史费用。Bedrock Guardrails和上下文接地检查可以过滤有害内容与无依据陈述,但这些控制同样会增加延迟和费用,必须纳入任务级评测,而不能只看拦截率。

工程权衡与证据边界

  • 质量与成本不是线性关系:0.8分提升对应2.5倍成本,意味着更高推理档只适合高价值、低失败代价的任务。默认配置应依据帕累托前沿,而不是默认选择最高档位。
  • 任务集决定结论边界:真实代码变更比通用Benchmark更接近生产,但七个内部套件仍可能遗漏其他仓库、语言和任务类型。grader的可信度、人工介入成本及评审器偏差均会影响结果。
  • 公开标价便于复算,但不等于实际账单:统一标价可比较不同时间和模型,但企业折扣、区域价格、缓存层级、沙箱计算、网关和观测成本不会完全体现。
  • 生产行为是内生变量:模型能力变化会改变用户会话长度、请求次数和工具调用路径,因此一次离线评测不能永久决定默认模型。
  • 模型更新会制造漂移:五周内八款新模型上线,要求固定模型版本、记录提示词与参数变更,并在版本更新后重跑任务集。
  • 数据仍需独立复现:案例数字来自Airbnb与AWS团队,模型A等对象经过匿名处理,且未给出样本量、置信区间和完整任务构成,不能直接外推到其他开发团队。

开发者落地建议

  1. 从真实仓库变更、代码评审和隐含需求构建任务集,为每项任务提供可重复环境、资源预算与可信评分器。
  2. 为同一任务建立请求级关联,将四类Token分别记录,并用带日期的公开价格表计算完整任务成本。
  3. 在上线前扫描所有模型与推理强度,剔除成本更高且质量不升的配置;网关强制执行默认值和推理强度上限。
  4. 每周把评测单任务成本与生产单请求费用、每用户请求数并排比较,定位是Token结构变化还是用户行为变化。
  5. 仪表盘同时展示TTFT、生成阶段OTPS、输出长度、限流和四类Token;对提示词、模型和网关配置变更打发布标记。
  6. 按EstimatedTPMQuotaUsage设置提前告警,依据输出burndown倍率校准阈值,并为max_tokens选择建立截断率监控。
  7. 通过IAM角色、会话标签和应用推理配置完成团队级成本分摊,同时监控调用日志缺失,避免归因失效后仍持续产生费用。
  8. 为每个主要模型保留至少一个评测表现接近的跨模型备选,检查其容量与配额后再分流;对LegacyModelInvocations设置告警,避免模型退役导致请求直接失败。

消息来源:AWS Machine Learning Blog (2026-11-18)

—— 完 ——

主题标签: #Airbnb #Amazon Bedrock #编码智能体 #成本可观测性 #LLM评测

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…