Jun 23, 2026 · DeepSeek
Serving DeepSeek-V4 on GB300 with SGLang: 5x Higher Throughput at the Same Interactivity Since Day-0
PyTorch 博客于 2026-06-23 发布文章，宣布 DeepSeek-V4 在 SGLang 中于 Day-0 即获支持，并称自发布以来通过协调内核、运行时和加固工作，在相同交互性下实现了 5 倍吞吐量提升。
EVENT STORY
Development
- First ReportServing DeepSeek-V4 on GB300 with SGLang: 5x Higher Throughput at the Same Interactivity Since Day-0PyTorch
- Current AssessmentDeepSeek-V4 在 SGLang 中的 Day-0 支持反映了开源推理框架与前沿模型发布节奏的紧密耦合，可能推动推理栈的快速适配和优化。Agent Pulse · analysis
PyTorch 博客于 2026-06-23 发布文章，宣布 DeepSeek-V4 在 SGLang 中于 Day-0 即获支持，并称自发布以来通过协调内核、运行时和加固工作，在相同交互性下实现了 5 倍吞吐量提升。文章标题强调“5x Higher Throughput at the Same Interactivity Since Day-0”，表明优化重点是在保持交互性的同时提升吞吐量。
SGLang 对 DeepSeek-V4 的 Day-0 支持表明推理框架与模型发布同步集成，后续通过内核、运行时和加固的协调优化实现吞吐量提升，暗示性能优化涉及多层面协同。
DeepSeek-V4 在 SGLang 中的 Day-0 支持反映了开源推理框架与前沿模型发布节奏的紧密耦合，可能推动推理栈的快速适配和优化。
对于依赖 DeepSeek-V4 推理的企业，5 倍吞吐量提升意味着在相同交互性下可降低推理成本或提高服务容量，增强竞争力。
后续可关注 SGLang 是否发布具体优化细节或基准测试，以及 DeepSeek-V4 在其他推理框架中的支持情况。