AWS上线JumpStart模型排行榜:统一比较70余款基础模型
摘要:AWS在Amazon SageMaker Studio上线JumpStart模型排行榜,首批覆盖Meta、Google、Qwen、IBM与Arcee等厂商或模型系列的70余款基础模型。榜单由AWS统一运行BBH、GPQA Diamond和MMLU-Pro质量评测,并在各JumpStart部署配置上测量首Token时延、单请求吞吐与实例小时成本;用户可按许可证、模态及负载目标筛选。它降低了跨来源拼接榜单数据的成本,但示例数字并非真实模型跑分,推理模型与非推理模型参数不同,成本也未计传输、存储和折扣,生产选型仍需以自有数据复测。
排行榜到底发布了什么
AWS此次发布的不是新模型,而是一套嵌在Amazon SageMaker Studio中的模型选型与部署决策界面。JumpStart Model Leaderboard复用现有模型目录的搜索框和许可证、提供商、输入输出模态等过滤器,在70余款已覆盖的基础模型之间并排展示质量、速度和成本指标。
榜单刻意不把不同基准压成一个总分。BBH、GPQA Diamond与MMLU-Pro分别呈现,开发者可以按业务所需的推理能力、知识覆盖和难度进行加权;部署侧则提供首Token时延、单请求吞吐和实例小时价格。其核心价值不是增加一种新评测,而是把质量评测与服务端遥测放进同一条选型链路。
统一评测与部署测量机制
质量评测:由AWS统一执行
AWS使用同一套评测框架和设置运行三项公开基准:
- BBH:覆盖逻辑演绎、对象跟踪和多步算术等需要组合推理的任务。
- GPQA Diamond:使用研究生级科学问题,主要考察较难通过网页搜索直接解决的深层推理能力。
- MMLU-Pro:以更高难度的多选题覆盖科学、法律和工程等广泛知识与推理领域。
统一提示词、生成参数和评测框架能够减少不同团队在提示词、采样设置及判分方式上造成的偏差。不过,一致性只提高了横向可比性,并不自动证明这些通用基准能够代表代码生成、企业知识问答、Agent工具调用或多模态任务中的生产质量。
服务性能:在真实部署配置上测量
速度与成本数据来自向SageMaker端点发送标准化测试负载。每个模型都使用对应的JumpStart部署配置,因此榜单中的TTFT、单请求吞吐和实例价格共同描述一组具体的服务组合,而不是脱离硬件与推理参数的模型固有属性。
- TTFT衡量请求发出到首个输出Token返回的等待时间,对交互式聊天尤其重要。
- Throughput per request衡量每秒生成的Token数,更接近持续解码阶段的生成速度。
- Instance cost给出指定实例类型的按需小时价,是估算推理支出的基础,而非完整账单。
负载档案与优化目标
View benchmarks for your use case用于选择与业务负载接近的测试档案,切换档案只改变性能和成本数据,不会改变质量分数。Optimized for则在同一档案可用的多种部署配置中切换展示对象:
Balanced选择估算每Token成本最低的配置,而非简单选择最低小时价。Cost optimized选择小时价最低的实例,可能牺牲吞吐并增加延迟。Latency optimized选择TTFT最低的配置,但不保证完整响应最快。Throughput optimized选择吞吐最高的配置,部分配置可能使用推测解码。
这一区分很重要:交互式聊天、短回答和长文档批处理对成本曲线的敏感性并不相同。
工程权衡:不要把单列指标当作最终答案
设输出长度为N、单请求生成速度为R,完整响应耗时的近似关系为:
T_request ≈ TTFT + N / R
若实例小时价为P,忽略冷启动、空闲和尾延迟时,请求成本可粗略写为:
C_request ≈ P × T_request / 3600
在持续满负载条件下,每输出Token成本则近似为:
P / (3600 × R)
这解释了为何最低小时价实例不一定拥有最低的每Token成本,也说明Latency optimized只优化TTFT:对于很长的回答,生成速度和利用率可能比首Token等待更重要;对于极短回答,实例启用、空闲时间和预填充开销反而可能占主导。榜单中的吞吐优化配置还可能引入推测解码相关的部署复杂度,需要在实际服务栈中验证收益。
部署配置也必须保持一致。档案切换不会改变质量分数,但最终启动的具体配置可能影响模型质量、延迟、吞吐和成本。生产部署时应选择与榜单中完全一致的模型版本、实例、量化方式和推理配置,避免把另一套配置的性能数据迁移过来。
“实测”结果该怎样解读
AWS给出的Model A、Model B和Model C表格是选型方法示例,并未绑定真实模型,不能视为70余款模型的榜单跑分。该例仍准确展示了决策逻辑:Model B的BBH与MMLU-Pro得分接近更大的Model A,但拥有更短TTFT、更低实例价格,因此可能更适合强调响应速度的内部问答助手。
榜单还有几项必须保留的边界:
- 不同基准不能横向比较分数。 BBH、GPQA Diamond和MMLU-Pro的难度和统计口径不同,应在各自列内排序。
- 推理模型与非推理模型并非严格同类。 AWS为两类模型使用不同生成参数,推理模型的GPQA Diamond成绩取10次运行平均值,因此跨类型比较只能视为近似。
- 小幅分差应视作平局。 正常运行波动可能超过榜单中的细小差距,不能据此宣称某个模型具有稳定优势。
- 70余款不是JumpStart全部模型。 尚未覆盖的模型没有分数,不代表其能力较弱;首发范围也主要集中于LLM文本生成。
- 通用基准不代表业务质量。 数据污染、提示敏感性和任务分布偏移仍可能存在,榜单也没有替代安全、幻觉率、领域准确率或Agent任务成功率测试。
- 正文未披露完整统计条件。 批量大小、并发度、输入输出长度、预热与冷启动处理、p95或p99延迟及多次运行方差,需要结合方法文档和自有压测确认。
成本口径仍是局部估算
榜单小时价基于配置默认实例类型的按需费率,不包含数据传输、存储、推理组件、Reserved Instances或AWS Savings Plans折扣。自动扩缩容、空闲容量、跨可用区流量和峰值预留也会改变真实单Token成本。因此,低小时价模型可能只是“闲置时便宜”,而高利用率下的综合成本未必更低。
更稳妥的做法是使用AWS Pricing Calculator建立包含流量、存储和承诺折扣的预算模型,再用真实并发与请求长度测量单位业务任务成本,而不是只看每小时实例价格。
开发者落地路径
- 先过滤硬约束。 依据商业许可证、模态、上下文长度和部署区域淘汰不合规模型,再比较分数。
- 选择真实负载档案。 交互式聊天优先关注TTFT,离线批处理优先关注吞吐与利用率,长上下文任务还应单独验证预填充开销。
- 保留两到三个候选。 不要直接选择热力图上的单一赢家,应综合质量、尾延迟、成本和许可风险形成短名单。
- 复用完全一致的配置。 在榜单所示配置上启动端点,记录模型版本、实例类型、量化和生成参数。
- 使用自有数据做影子测试。 以真实提示词、文档和工具调用轨迹评估任务成功率,同时采集TTFT、输出速度、端到端p50/p95/p99、错误率与资源利用率。
- 上线前复算账单。 将并发、请求长度、存储、网络、缩容和折扣纳入成本模型,并采用小流量灰度验证容量余量。
结论
JumpStart Model Leaderboard的真正价值是把分散的质量榜单、服务性能与云端成本压缩成一套可操作的模型筛选流程。统一评测框架和可直接部署的配置降低了比较噪声,但榜单仍是初筛工具,而不是生产采购的最终证明;模型选型的最后一公里仍应由业务数据、真实并发和完整成本账单完成。
—— 完 ——消息来源:AWS Machine Learning Blog (2026-11-18)
主题标签: #AWS #SageMaker JumpStart #模型评测 #推理成本 #TTFT
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区