Simplify and support your TorchServe workloads using Ray Serve Deep Learning Containers
AWS 发布博客，宣布 TorchServe 不再维护，并推出 Ray Serve Deep Learning Container（DLC）作为替代方案。该容器预装了框架、GPU 驱动和服务层，并经过测试。博客演示了如何在 Amazon EKS 上使用 Ray Serve DLC 在单 GPU 节点上部署视觉语言模型。
发展脉络
- 首次出现Simplify and support your TorchServe workloads using Ray Serve Deep Learning ContainersAWS Machine Learning Blog
- 当前判断AWS 推动 Ray Serve 作为 TorchServe 的替代，反映了模型服务框架的整合趋势。Ray Serve 的分布式能力可能更适合大规模部署，而 DLC 的预测试特性降低了企业的运维负担。Agent Pulse · 分析
AWS 在机器学习博客上宣布 TorchServe 不再维护，并推荐使用 Ray Serve Deep Learning Container（DLC）来支持 TorchServe 工作负载。Ray Serve DLC 是一个受支持、预测试的容器，集成了框架、GPU 驱动和服务层，简化了 GPU 推理栈的部署。博客提供了在 Amazon EKS 上使用 Ray Serve DLC 在单 GPU 节点上部署视觉语言模型的指南。
TorchServe 的停止维护意味着依赖其进行模型服务的团队需要迁移。Ray Serve DLC 提供了预集成的环境，减少了配置 GPU 驱动和框架的复杂性。对于视觉语言模型，单 GPU 节点上的部署表明 Ray Serve 能够支持多模态模型的推理。
AWS 推动 Ray Serve 作为 TorchServe 的替代，反映了模型服务框架的整合趋势。Ray Serve 的分布式能力可能更适合大规模部署，而 DLC 的预测试特性降低了企业的运维负担。
对于使用 TorchServe 的企业，迁移到 Ray Serve DLC 可以减少维护成本，并利用 AWS 的支持。这有助于降低 GPU 推理栈的复杂性，加快模型上线时间。
预计更多 TorchServe 用户将迁移到 Ray Serve 或其他受支持的服务框架。AWS 可能会继续更新 DLC 以支持更多模型类型和硬件。