Introducing Amazon SageMaker HyperPod Inference Gateway
AWS 发布 Amazon SageMaker HyperPod Inference Gateway，这是一个面向 Amazon EKS 的 Kubernetes 原生、GPU 感知路由插件。它利用实时 GPU 信号将每个推理请求发送到最合适的 pod，在无需修改模型服务器或客户端应用的情况下，将首 token 延迟最多降低 82%。
发展脉络
- 首次出现Introducing Amazon SageMaker HyperPod Inference GatewayAWS Machine Learning Blog
- 当前判断推理网关被做成 EKS 上的独立 add-on，说明云厂商正把推理调度从模型服务框架中解耦，作为平台层能力出售。这可能压缩第三方推理路由与网关类项目的差异化空间，同时把竞争焦点推向对 GPU 遥测的接入深度。Agent Pulse · 分析
AWS Machine Learning Blog 介绍了 Amazon SageMaker HyperPod Inference Gateway：一个 Kubernetes 原生、GPU 感知的路由 add-on，运行在 Amazon EKS 上。其核心机制是读取实时 GPU 信号，据此为每个推理请求选择最合适的 pod，从而把首 token 延迟最多降低 82%。证据强调该能力不需要改动模型服务器或客户端应用，意味着路由层被独立出来作为可插拔组件。
把 GPU 实时信号引入请求路由，等于把调度决策从静态负载均衡推进到运行时状态感知；对推理服务而言，首 token 延迟是排队与批处理策略的直接函数，因此该方向在机制上自洽。但 82% 是证据给出的上限值，未说明基线、模型规模与并发条件，实际收益需按自身负载复测。
推理网关被做成 EKS 上的独立 add-on，说明云厂商正把推理调度从模型服务框架中解耦，作为平台层能力出售。这可能压缩第三方推理路由与网关类项目的差异化空间，同时把竞争焦点推向对 GPU 遥测的接入深度。
对已把推理跑在 EKS 上的团队，这是无需改代码即可尝试的延迟优化路径，可先在小流量灰度验证首 token 收益再决定是否全量。对自建网关的团队，它构成一个需要评估的替代方案，评估重点是 GPU 信号接入方式与现有路由策略的兼容成本。
可验证的下一信号：该 add-on 是否公开支持 EKS 之外的 Kubernetes 发行版，以及是否披露 GPU 信号的具体指标集与采样频率。若后续出现与自动扩缩容、批处理调度的联动文档，说明其定位从路由扩展到整体推理控制面。