Aug 12, 2026 · AWS
Tiered KV cache for large LLMs on Amazon SageMaker HyperPod with Curvine
AWS 发布了一篇博客，介绍在 Amazon SageMaker HyperPod 上使用 Curvine 为大型语言模型构建分层 KV 缓存。该方法将 KV 缓存扩展到共享的分布式 NVMe 池中，使副本能够以接近本地磁盘的速度复用缓存，从而在成本高效的实例上运行。
EVENT STORY
Development
- First ReportTiered KV cache for large LLMs on Amazon SageMaker HyperPod with CurvineAWS Machine Learning Blog
- Current AssessmentAWS 发布此方案表明云厂商正在探索降低 LLM 推理成本的方法，通过优化缓存层来提升资源利用率。这可能影响推理基础设施的设计，但需更多证据验证其实际效果。Agent Pulse · analysis
AWS 机器学习博客发布了一篇关于在 Amazon SageMaker HyperPod 上使用 Curvine 为大型语言模型构建分层 KV 缓存的文章。文章指出，大规模运行 LLM 推理时，KV 缓存面临权衡：要么使用过大的 GPU 实例，要么忍受较慢的首 token 时间。该方法将 KV 缓存扩展到共享的分布式 NVMe 池中，使副本能够以接近本地磁盘的速度复用缓存，从而在成本高效的实例上运行。
该方案通过将 KV 缓存分层到分布式 NVMe 池，可能减少对 GPU 显存的依赖，从而允许使用更小或更便宜的实例。这暗示了推理架构中缓存管理的新方向，但具体性能数据未在证据中提供。
AWS 发布此方案表明云厂商正在探索降低 LLM 推理成本的方法，通过优化缓存层来提升资源利用率。这可能影响推理基础设施的设计，但需更多证据验证其实际效果。
该方案可能降低 LLM 推理的硬件成本，对云服务提供商和企业用户具有潜在价值，但具体成本节省未量化。
未来可关注该方案在真实工作负载中的性能表现，以及是否被更多云服务采用。