AWS发布Amazon SageMaker HyperPod模型缓存功能:大幅缩短推理冷启动时间
摘要:AWS宣布为其Amazon SageMaker HyperPod推理服务推出模型缓存功能,通过预加载模型权重和容器镜像至集群节点,大幅缩短推理冷启动时间,从数十分钟缩短至数秒。该功能通过本地NVMe存储读取数据,显著提升推理效率,尤其适用于大规模模型如DeepSeek-R1(600+ GB)。模型缓存功能支持多种模型来源,并提供灵活的启用方式,为AI开发者提供更高效的推理部署解决方案。
AWS发布Amazon SageMaker HyperPod模型缓存功能:大幅缩短推理冷启动时间
亚马逊云科技(AWS)近日为其Amazon SageMaker HyperPod推理服务推出了模型缓存功能,旨在解决大规模模型推理中的冷启动问题。
核心功能与优势
- 预加载模型数据:通过在节点上预加载模型权重和容器镜像,消除了网络下载延迟。
- 本地NVMe存储:数据从本地NVMe存储读取,速度高达7 GB/s,显著快于传统网络传输。
- 多模型来源支持:兼容Amazon S3、Amazon FSx for Lustre、HuggingFace Hub等多种模型来源。
- 灵活启用方式:用户可选择单独启用权重缓存或镜像缓存,或同时启用两者。
技术亮点
-
权重缓存(Weights Cache):
- 预先将模型权重下载到节点本地NVMe存储。
- 缓存数据在节点重启后依然可用,支持快速扩展。
- 首次启用时需下载完整模型,但后续启动可从本地读取。
-
镜像缓存(Image Cache):
- 预先拉取推理服务器容器镜像至节点。
- 多个部署可共享同一镜像缓存,节省存储空间。
- 镜像缓存不阻塞部署创建,提升部署效率。
-
回退机制:
- 采用优先调度策略,而非强制调度。
- 如果节点缓存不可用,系统自动回退到原始下载方式,确保服务可用性。
性能提升
- 冷启动时间:从数十分钟缩短至数秒。
- 扩展速度:在启用权重缓存的情况下,扩展速度提升约60%。
- 镜像拉取时间:镜像缓存可减少超过两分钟的冷启动时间,在大规模模型(如DeepSeek-R1)场景下效果尤为显著。
适用场景
- 大规模模型推理:如DeepSeek-R1(600+ GB)等超大型模型。
- 高并发推理服务:需要快速扩展以应对流量高峰的场景。
- 多模型部署:需要同时管理多个模型的复杂推理任务。
开发者建议
- 选择合适的实例类型:确保实例的NVMe存储容量满足模型需求,避免缓存失败。
- 合理配置缓存策略:根据模型更新频率和部署规模,灵活启用权重缓存和镜像缓存。
- 监控缓存状态:定期检查缓存健康状态,确保数据一致性。
行业影响
模型缓存功能的推出,标志着AWS在AI推理基础设施领域的又一重要进展。通过大幅缩短冷启动时间,AWS为AI开发者提供了更高效的推理部署解决方案,尤其适用于对延迟敏感的大规模模型应用场景。这不仅提升了AI服务的响应速度,还降低了运营成本,为企业级AI应用带来了新的可能性。
总结
AWS的Amazon SageMaker HyperPod模型缓存功能,通过创新的缓存机制和灵活的启用方式,为AI推理服务带来了革命性的性能提升。这一功能不仅解决了大规模模型推理中的冷启动问题,还为AI开发者提供了更强大的工具,以应对日益复杂的AI应用场景。
—— 完 ——消息来源:AWS Machine Learning Blog (2026-09-10)
主题标签: #AWS #SageMaker #模型缓存 #推理加速 #AI基础设施
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区