AWS上线SageMaker模型榜,统一对比70多款基础模型质量、速度与成本
摘要:AWS在SageMaker Studio上线JumpStart模型排行榜,首批覆盖Meta、Google、Qwen、IBM、Arcee等70余款开放权重模型。榜单由AWS统一运行BBH、GPQA Diamond与MMLU-Pro,并在各JumpStart部署配置上测量TTFT、生成吞吐和实例小时费,提供平衡、成本、时延及吞吐四种优化视图。其价值不是推出新模型,而是把异构模型质量、部署性能与成本估算纳入同一口径。但榜单由平台方自建,成本不含传输、存储、推理组件与折扣;推理与非推理模型采用不同生成参数,跨模型比较仍需谨慎。
排行榜把模型能力与部署经济性分开
AWS此次发布的不是新模型,而是SageMaker Studio内的一套模型选型视图:JumpStart Model Leaderboard。它把两个经常被混为一谈的问题拆开处理——模型能否正确完成任务,以及模型在特定SageMaker部署配置下能否以可接受的速度和成本运行。
榜单首批覆盖Meta、Google、Qwen、IBM、Arcee等提供方的70余款模型。质量侧由AWS自行运行BBH、GPQA Diamond和MMLU-Pro,并让所有模型经过同一套评测框架与设置。三项结果分别展示,没有合成为一个不透明的总分;这种设计保留了权重透明度,但最终选型仍需使用者根据业务任务自行确定优先级。
性能与成本则属于部署层,而非模型层的固有属性。AWS向使用不同JumpStart部署配置创建的端点发送标准化测试负载,记录TTFT、每请求生成吞吐以及默认实例的按需小时费。因此,同一模型在不同实例、批量策略或优化目标下可以得到不同的服务指标。
四种优化目标实际是在选择不同配置
Use-case profile默认采用Max Context,只改变性能与成本视图,不改变已经测得的三项质量分数。Optimization goal默认采用Balanced,并从每个模型可用的部署配置中选择一个进行展示。
- Balanced:选择估算每Token成本最低的配置,兼顾实例小时价格与生成吞吐。
- Cost optimized:选择实例小时费最低的配置,但响应延迟可能更高、吞吐可能更低。
- Latency optimized:选择TTFT最低的配置,更适合交互式聊天等对首响应敏感的负载。
- Throughput optimized:选择实测吞吐最高的配置,部分配置可能采用推测解码加速生成。
若以H表示实例小时费,以T表示与榜单测试口径一致的有效输出吞吐,则仅计算生成阶段的百万Token成本可近似写为:
C_1M ≈ H × 1,000,000 ÷ (3,600 × T)
这个关系解释了为什么最低小时价不等于最低每Token价格:更便宜的实例如果吞吐不足,单位Token成本反而可能更高。不过,实际账单还受到并发利用率、输入Token预填充、空闲容量和请求结构影响,不能只凭单请求吞吐估算整体服务成本。
TTFT也不只是模型前向计算时间。请求排队、调度、提示词预处理和首批输出调度都可能进入首Token延迟,而榜单没有直接拆解这些部分。Throughput per request同样不应等同于集群级服务吞吐量;并发数、连续批处理、KV Cache占用和尾延迟仍需在目标实例上复测。
统一评测解决了什么
公开模型卡和第三方榜单往往混用不同提示词、生成参数、量化方式与硬件环境,分数看似可直接比较,实际测量对象却可能并不相同。AWS至少在三个关键层面进行了统一:评测框架与设置一致、性能负载一致、测试端点对应用户可直接启动的JumpStart配置。
这使榜单从松散的模型卡汇总升级为更接近生产环境的“模型加服务栈”比较。用户看到的不再只是抽象能力,而是特定实例与部署策略下的延迟、吞吐和成本。排行榜还支持按许可证、提供方和输入输出模态过滤,并可针对交互聊天、批处理或长上下文负载切换配置。
推测解码也可能被用于吞吐优化配置,但其收益取决于草稿模型与目标模型的匹配度、接受率、额外计算开销和内存压力。榜单没有逐模型披露这些实现细节,因此不能仅凭最高吞吐配置认定其单位成本或服务质量必然最优。
同一评测框架仍不等于绝对公正
首先,这是AWS自建并运营的榜单,而AWS同时销售承载这些模型的SageMaker实例。统一测试提高了内部可比性,却无法完全消除平台方选择指标、配置和工作负载时的利益倾向。原始日志、完整提示词与重复实验数据对外部复核仍然重要。
其次,BBH、GPQA Diamond和MMLU-Pro主要衡量通用推理与知识能力,不能直接代表代码生成、工具调用、长上下文检索、领域问答、安全拒答或多模态任务。统一提示模板若不适合某些模型的推荐对话格式,也可能压低其成绩;只有在各模型均获得合理适配后,公平性才更可信。
榜单还明确承认推理模型与非推理模型使用不同生成参数。对于推理模型,GPQA Diamond成绩是10次运行的平均值,因此它与单次生成型模型之间的比较只能视为近似。不同基准的难度和量纲也不相同,BBH分数不能与MMLU-Pro分数直接换算。接近的分数应按统计平局处理,而非据此宣称模型存在显著能力差距。
榜单内切换Use-case profile不会改变质量分数,但实际生产质量仍可能受提示模板、解码参数、服务框架与模型版本影响。因此,公共基准适合生成候选名单,不适合替代生产验收。
成本数字仍需按生产口径重算
榜单展示的Instance cost仅对应默认实例类型的SageMaker按需小时费,不包括数据传输、存储、Inference Component费用、Reserved Instances或AWS Savings Plans折扣。真实总成本至少应按以下方式重算:
总成本 = 实例费用 + 存储与网络 + 附加推理组件 + 预留或折扣后的实例费用
对于交互式业务,还应把输入与输出Token比例纳入,因为预填充计算和生成阶段的硬件利用率不同。对于高并发服务,则应以目标并发下的有效吞吐而非单请求速度估算成本。榜单中的Balanced配置可以提供合理起点,却不能替代基于真实请求日志的成本模型。
开发者落地路径
- 先做硬过滤:依据商业许可证、提供方、输入输出模态和安全要求排除不可用模型,再比较分数。
- 匹配负载画像:交互式助手优先观察TTFT,离线批处理优先观察吞吐与小时费,长文档任务则需额外验证有效上下文长度。
- 只保留两到三个候选:不要从数十个模型直接选冠军,应结合质量差距与成本差距建立短名单。
- 保持配置一致:部署时沿用榜单中比较过的实例与优化目标,避免用低成本实例的性能推断高配实例,或反之。
- 使用私有数据复测:评估任务成功率、格式遵循率、幻觉率、工具调用成功率、P50与P95 TTFT、连续输出速度、并发吞吐、Token消耗和失败重试成本。
- 灰度上线并持续监控:榜单反映的是测试时点的默认配置;模型版本、实例代际、区域价格和流量结构变化后,应重新测量。
从模型卡比较转向可复现部署选型
JumpStart Model Leaderboard的技术意义不在刷新模型能力排名,而在于把质量评测、推理性能和云端成本放进同一条选型链路,并绑定到可实际启动的部署配置。它尤其适合帮助团队避免两个常见错误:只依据公开分数选择过大的模型,或只依据实例小时价选择实际吞吐不足的模型。
不过,目前榜单主要覆盖LLM文本生成,尚未覆盖每个JumpStart模型。AWS表示后续将探索私有Hub榜单,以及目标检测、文本嵌入和图像理解等任务榜。在这些扩展落地前,该工具更适合作为候选筛选与容量规划入口,而不是生产决策的终点。
—— 完 ——消息来源:AWS Machine Learning Blog (2026-11-18)
主题标签: #AWS #SageMaker JumpStart #模型评测 #推理成本
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区