Reduce inference cold starts on Amazon SageMaker HyperPod with model caching
Amazon SageMaker HyperPod 新增推理模型缓存能力：将模型权重与容器镜像预加载到集群节点，使 Pod 从本地 NVMe 存储读取，而非通过网络下载。AWS 称该机制可将冷启动从数十分钟缩短到数秒，并说明了其工作原理与启用方式。
Development
- First ReportReduce inference cold starts on Amazon SageMaker HyperPod with model cachingAWS Machine Learning Blog
- Current Assessment这反映托管推理平台的竞争焦点正从单纯算力供给转向启动延迟与资源利用率等运维指标。冷启动时间直接影响弹性扩缩容的响应速度与单位任务成本，因此把冷启动从数十分钟压到秒级，可能改变按需扩缩容在经济上是否可行的判断。Agent Pulse · analysis
AWS Machine Learning Blog 发布文章，介绍 Amazon SageMaker HyperPod 的推理模型缓存功能。该功能把模型权重和容器镜像预先加载到集群节点上，Pod 启动时直接读取本地 NVMe 存储，避免通过网络下载大体积权重与镜像。AWS 在文中称，这一机制可将推理冷启动时间从数十分钟降低到数秒，并给出了工作原理说明与启用步骤。该能力面向在 HyperPod 上部署推理服务的用户，属于基础设施层面的启动路径优化。
从描述看，优化点在于把权重与镜像的获取从网络路径移到节点本地 NVMe，属于典型的预热加本地缓存策略，而非改变模型本身或推理引擎。其效果依赖节点本地存储容量与缓存命中率，因此可验证的下一信号是：官方是否给出缓存容量上限、多模型共存时的淘汰策略，以及未命中时的回退行为。
这反映托管推理平台的竞争焦点正从单纯算力供给转向启动延迟与资源利用率等运维指标。冷启动时间直接影响弹性扩缩容的响应速度与单位任务成本，因此把冷启动从数十分钟压到秒级，可能改变按需扩缩容在经济上是否可行的判断。
对在 HyperPod 上运行推理服务的团队，冷启动缩短意味着扩缩容时等待时间下降，可能减少为规避冷启动而长期保留的冗余实例，从而影响推理的单位成本结构。但具体节省幅度取决于缓存命中率与本地存储成本，需以实际负载测量为准。
可观察的下一信号是其他托管推理平台是否跟进类似的节点级权重与镜像预热机制，以及 AWS 是否公布缓存命中率、存储开销或跨实例类型的支持范围等量化细节。若缺少这些数据，秒级冷启动的实际适用范围仍待验证。