Amazon SageMaker Inference: 2026 year-to-date launches in review
AWS Machine Learning Blog 于 2026-09-18 发布回顾文章，称 Amazon SageMaker AI 在 2026 年年初至今共推出 13 项推理相关发布，覆盖两条部署路径：全托管端点与 Amazon SageMaker HyperPod Inference。文章逐项回顾这些发布，列举内容包括推理推荐、容量感知实例池、分层 KV 缓存，以及 prefill 与 decode 分离。
发展脉络
- 首次出现Amazon SageMaker Inference: 2026 year-to-date launches in reviewAWS Machine Learning Blog
- 当前判断托管端点与 HyperPod 两条路径并列，说明云厂商在推理供给上同时覆盖低运维托管与自管集群两类客户，容量感知实例池则反映供给调度被当作产品能力而非纯运维细节。判断：推理层的竞争点正从单卡性能转向调度、缓存与阶段编排。可验证下一信号：其他云厂商是否在同期推出对应的分层缓存或阶段分离托管能力。Agent Pulse · 分析
该回顾文章把 SageMaker AI 2026 年内的推理侧更新归为 13 项发布，并明确划分两条部署路径：全托管端点与 SageMaker HyperPod Inference。文中点名的方向包括推理推荐、容量感知实例池、分层 KV 缓存，以及 disaggregated prefill and decode（预填充与解码分离）。证据未给出各项发布的具体日期、性能数字、价格或客户案例，因此这些方向只能视为官方自述的发布清单，而非可独立验证的能力结论。
分层 KV 缓存与 prefill/decode 分离同时出现在同一份发布清单中，指向推理栈正在把缓存层级与计算阶段解耦，这与长上下文与高并发场景的成本结构直接相关。但证据未提供命中率、延迟或吞吐数据，因此只能作为方向性判断。可验证下一信号：官方是否给出分层缓存的命中率与跨层回退延迟，以及分离式部署在何种序列长度下才优于单机共置。
托管端点与 HyperPod 两条路径并列，说明云厂商在推理供给上同时覆盖低运维托管与自管集群两类客户，容量感知实例池则反映供给调度被当作产品能力而非纯运维细节。判断：推理层的竞争点正从单卡性能转向调度、缓存与阶段编排。可验证下一信号：其他云厂商是否在同期推出对应的分层缓存或阶段分离托管能力。
对使用 SageMaker 的团队，这份清单可作为年度能力盘点入口，用于判断是否值得迁移到 HyperPod 或启用分层缓存。由于缺少价格与性能数据，暂不足以支撑成本测算。可验证下一信号：官方发布各项能力的计费说明与基准数据，届时再做迁移与容量规划决策。
若分层 KV 缓存与 prefill/decode 分离进入托管默认路径，推理成本模型会从按实例计费进一步转向按缓存层级与阶段资源计费。可验证下一信号：SageMaker 是否公开这两项能力的计费维度与默认开启策略，以及 HyperPod 侧是否同步提供。