AWS发布SOCI索引技术，大幅提升SageMaker AI任务启动速度

摘要：AWS推出了Seekable OCI (SOCI) 索引技术，用于Amazon SageMaker AI训练和处理任务。该技术通过懒加载容器镜像，仅在启动容器时获取必要文件，其余部分在后台流式传输，从而将容器启动时间从几分钟缩短至几秒钟。SOCI索引无需更改现有任务定义即可采用，显著降低了GPU空闲时间并减少了作业成本。

---

背景与挑战

在深度学习任务中，容器镜像的下载时间一直是影响作业效率的关键瓶颈。Amazon SageMaker AI训练和处理任务依赖于存储在Amazon Elastic Container Registry (Amazon ECR)中的容器镜像。在作业执行代码之前，服务需要下载整个镜像到实例并进行解压和磁盘写入。对于大型深度学习镜像（如超过10 GB），这一过程可能需要数分钟时间，导致作业成本增加并拖慢迭代速度。

SOCI索引技术详解

SOCI（Seekable OCI）是一种开源技术，通过懒加载容器镜像来解决上述问题。其核心机制如下：

1. 索引机制：SOCI生成一个映射镜像内每个文件的索引，存储在Amazon ECR中作为与原始镜像关联的OCI兼容工件。
2. 懒加载过程：在启动容器时，SOCI使用该索引仅获取启动容器所需的文件，其余部分在代码运行时后台流式传输。

这种机制确保了容器可以在几秒钟内启动，而无需等待整个镜像下载完成。

性能与优势

• 启动时间大幅缩短：根据AWS的基准测试，SOCI索引将容器启动时间从几分钟缩短至3-11秒，具体取决于镜像大小。例如，一个35.4 GB的镜像启动时间从7分17秒降至3-11秒。
• GPU空闲时间减少：在测试中，GPU空闲时间在镜像拉取过程中减少了高达90%。
• 无需更改现有流程：采用SOCI索引无需对现有任务定义、入口点或数据通道进行任何更改，降低了采用门槛。

实施方法

用户可以通过两种方式采用SOCI索引：

1. 使用预索引的AWS深度学习容器（DLC）：AWS提供了多个预索引的DLC，用户只需在作业定义中更新镜像标签为带有-soc后缀的版本即可。
2. 为自定义镜像创建索引：用户可以使用工具（如Finch或nerdctl）在Linux主机上为自定义镜像生成SOCI索引，并将其推送到Amazon ECR。

此外，AWS还提供了自动化工具（如CFN ECR SOCI Index Builder），可以在CI/CD管道中自动生成索引。

注意事项

• 仅支持Amazon ECR私有仓库：SOCI索引目前仅适用于存储在Amazon ECR私有仓库中的镜像。
• 性能提升与镜像大小相关：对于小于4 GB的镜像，性能提升相对较小。
• 容器运行时依赖：SOCI索引依赖于基于containerd的运行时，用户需要检查现有流程中是否有对Docker CLI或Docker套接字的依赖。

结论

SOCI索引技术为Amazon SageMaker AI用户提供了更快的容器启动速度和更低的作业成本，同时保持了现有工作流程的完整性。这项技术的推出标志着AWS在优化AI作业效率方面的重要进展，为用户带来了显著的实际价值。

资源与进一步阅读

• AWS Deep Learning Containers Gallery
• SOCI Indexing for AWS Deep Learning Containers
• SageMaker AI Developer Guide
• CFN ECR SOCI Index Builder
• Finch Lazy-Loading Walkthrough
• Reducing container cold start times using SOCI index on DLAMI and DLC
• Under the hood: Lazy loading container images with Seekable OCI and AWS Fargate

---

消息来源：AWS Machine Learning Blog (2026-10-27)

—— 完 ——

主题标签： #AWS 关注 #SageMaker 关注 #SOCI 关注 #容器镜像 关注 #懒加载 关注