AWS 发布 SageMaker Python SDK v3 集成,生成式 AI 推理优化全流程进入 Notebook
摘要:AWS 宣布 Amazon SageMaker Python SDK v3 现已集成生成式 AI 推理推荐功能,开发者可直接在 Notebook 中完成端点基准测试、生成数据驱动的部署推荐并一键部署最优配置。该功能此前需通过 SageMaker Studio 或 Boto3 API 实现,现已成为 Python SDK 操作,大幅简化了推理优化工作流。本文详解新接口、基准测试指标解读、LMI 与 vLLM 对比等关键能力,为开发者提供端到端的实践指南。
概述
优化生成式 AI 推理部署通常需要基准测试端点、评估实例配置并迭代部署设置。Amazon SageMaker Python SDK v3 现已将 SageMaker AI 中的生成式 AI 推理推荐功能直接暴露在 Notebook 工作流中,开发者无需离开 Notebook 即可完成基准测试、生成部署推荐并部署推荐配置。
新 SDK 接口
新功能位于 sagemaker.serve.ai_inference_recommender 包中,自版本 3.17.0 起可用,主要操作包括:
ModelBuilder.from_jumpstart_config(...):从 JumpStart 模型 ID 和计算配置构建 ModelBuilder。start_benchmark(endpoint, ...):对已部署端点运行负载测试。mb.generate_deployment_recommendations(...):探索实例/框架配置,返回排名推荐。mb.deploy(...):将最佳推荐部署到实时端点。ModelBuilder.from_recommendation_job(job_name):从已完成的推荐任务恢复 ModelBuilder,便于跨会话部署。
端到端工作流
- 生成部署推荐:调用
generate_deployment_recommendations,服务会探索实例和框架配置,根据工作负载返回排名选项。 - 解读与选择:查看排名结果,理解权衡,选择最佳配置。
- 部署:将获胜配置部署到实时端点。
- 基准测试:在真实负载下验证端点性能。
- 框架对比:可选运行 LMI 和 vLLM 对比,找到最佳服务栈。
解读推荐结果
推荐结果以表格形式展示,关键指标包括:
- RequestThroughput (avg):每秒请求数,越高越好。
- OutputTokenThroughput (avg):每秒生成的总 token 数,越高越好。
- RequestLatency (p50/p90/p99):端到端延迟,越低越好。
- TimeToFirstToken (p50/p90):首 token 延迟,越低越好。
- InterTokenLatency (p50/p90):流式传输中连续 token 的间隔,越低越好。
示例中,排名 0 的配置(LMI 26-0-0)在吞吐量上比排名 1 高约 16%,延迟低约 10%,因此被优先推荐。
基准测试指标参考
基准测试返回丰富的指标,包括:
request_throughput:每秒完成的请求数。time_to_first_token:从请求到首个流式 token 的时间。request_latency:端到端请求延迟。output_token_throughput:系统级每秒输出 token 数。
所有指标均支持 avg、p50、p90、p99 等统计量,可通过 result.metrics 访问。
对比 LMI 与 vLLM
开发者可以并行运行两个推荐任务,分别针对 LMI 和 vLLM,然后比较结果并部署胜出者。示例代码展示了如何使用 ThreadPoolExecutor 并行执行,并根据吞吐量选择最佳框架。
示例 Notebook
完整的可运行 Notebook 已发布在 GitHub:sagemaker-genai-hosting-examples,涵盖所有四种场景:基准测试现有端点、生成推荐并部署、从先前任务恢复、对比 LMI 和 vLLM。
清理资源
为避免持续费用,请删除测试期间创建的端点。
结论
通过 SageMaker Python SDK 集成,推理优化工作流完全融入 Notebook,消除了控制台与 API 之间的上下文切换。开发者可以快速生成推荐、部署并验证,从而加速生成式 AI 应用的上线。
原报道出处
本文基于 AWS Machine Learning Blog 的原始文章《LLM optimization integration for Amazon SageMaker Python SDK》,作者为 Dan Ferguson、Mona Mona、Hrushikesh Gangur 和 Muzart Tuman。
—— 完 ——消息来源:AWS Machine Learning Blog (2026-08-06)
主题标签: #AWS #SageMaker #推理优化 #Python SDK #生成式AI
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区