智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #AWS #SageMaker #模型缓存 #推理加速 #AI基础设施

AWS发布Amazon SageMaker HyperPod模型缓存功能:大幅缩短推理冷启动时间

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 8 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:AWS宣布为其Amazon SageMaker HyperPod推理服务推出模型缓存功能,通过预加载模型权重和容器镜像至集群节点,大幅缩短推理冷启动时间,从数十分钟缩短至数秒。该功能通过本地NVMe存储读取数据,显著提升推理效率,尤其适用于大规模模型如DeepSeek-R1(600+ GB)。模型缓存功能支持多种模型来源,并提供灵活的启用方式,为AI开发者提供更高效的推理部署解决方案。


AWS发布Amazon SageMaker HyperPod模型缓存功能:大幅缩短推理冷启动时间

亚马逊云科技(AWS)近日为其Amazon SageMaker HyperPod推理服务推出了模型缓存功能,旨在解决大规模模型推理中的冷启动问题。

核心功能与优势

  • 预加载模型数据:通过在节点上预加载模型权重和容器镜像,消除了网络下载延迟。
  • 本地NVMe存储:数据从本地NVMe存储读取,速度高达7 GB/s,显著快于传统网络传输。
  • 多模型来源支持:兼容Amazon S3、Amazon FSx for Lustre、HuggingFace Hub等多种模型来源。
  • 灵活启用方式:用户可选择单独启用权重缓存或镜像缓存,或同时启用两者。

技术亮点

  1. 权重缓存(Weights Cache):

    • 预先将模型权重下载到节点本地NVMe存储。
    • 缓存数据在节点重启后依然可用,支持快速扩展。
    • 首次启用时需下载完整模型,但后续启动可从本地读取。
  2. 镜像缓存(Image Cache):

    • 预先拉取推理服务器容器镜像至节点。
    • 多个部署可共享同一镜像缓存,节省存储空间。
    • 镜像缓存不阻塞部署创建,提升部署效率。
  3. 回退机制:

    • 采用优先调度策略,而非强制调度。
    • 如果节点缓存不可用,系统自动回退到原始下载方式,确保服务可用性。

性能提升

  • 冷启动时间:从数十分钟缩短至数秒。
  • 扩展速度:在启用权重缓存的情况下,扩展速度提升约60%。
  • 镜像拉取时间:镜像缓存可减少超过两分钟的冷启动时间,在大规模模型(如DeepSeek-R1)场景下效果尤为显著。

适用场景

  • 大规模模型推理:如DeepSeek-R1(600+ GB)等超大型模型。
  • 高并发推理服务:需要快速扩展以应对流量高峰的场景。
  • 多模型部署:需要同时管理多个模型的复杂推理任务。

开发者建议

  • 选择合适的实例类型:确保实例的NVMe存储容量满足模型需求,避免缓存失败。
  • 合理配置缓存策略:根据模型更新频率和部署规模,灵活启用权重缓存和镜像缓存。
  • 监控缓存状态:定期检查缓存健康状态,确保数据一致性。

行业影响

模型缓存功能的推出,标志着AWS在AI推理基础设施领域的又一重要进展。通过大幅缩短冷启动时间,AWS为AI开发者提供了更高效的推理部署解决方案,尤其适用于对延迟敏感的大规模模型应用场景。这不仅提升了AI服务的响应速度,还降低了运营成本,为企业级AI应用带来了新的可能性。

总结

AWS的Amazon SageMaker HyperPod模型缓存功能,通过创新的缓存机制和灵活的启用方式,为AI推理服务带来了革命性的性能提升。这一功能不仅解决了大规模模型推理中的冷启动问题,还为AI开发者提供了更强大的工具,以应对日益复杂的AI应用场景。


消息来源:AWS Machine Learning Blog (2026-09-10)

—— 完 ——

主题标签: #AWS #SageMaker #模型缓存 #推理加速 #AI基础设施

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…