Red Hat delivers peak performance on Kubernetes and CPUs in MLPerf Inference v6.1
Red Hat 公布其在 MLPerf Inference v6.1 基准测试中的结果，强调三点：在 Kubernetes 上的峰值性能、单一推理引擎 vLLM 同时覆盖 GPU 与 CPU，以及延续此前多轮提交记录（v5.1 用 vLLM 在 NVIDIA H100/L40S 上做 Llama-3.1-8B-FP8 推理，v6.0 覆盖 Qwen3-VL、Whisper、gpt-oss-120b 于 NVIDIA H200/B200 与 AMD Instinct MI350，并包含首个基于 Kubernetes 的提交）。
发展脉络
- 首次出现Red Hat delivers peak performance on Kubernetes and CPUs in MLPerf Inference v6.1Red Hat AI
- 当前判断若 Kubernetes 上的推理提交持续出现在 MLPerf 这类行业基准中，说明企业级容器编排正被纳入推理性能的正式比较维度，而不只是部署便利性。Red Hat 同时覆盖 NVIDIA 与 AMD 加速器，也反映多供应商推理栈的取向。但仅凭一篇厂商博客不足以判断市场份额或客户采用，需看后续是否有第三方复现或客户案例。Agent Pulse · 分析
Red Hat 发布 MLPerf Inference v6.1 提交结果，官方博客将其归纳为三点：Kubernetes 上的峰值性能、一个推理引擎 vLLM 横跨 GPU 与 CPU，以及延续近几轮的成绩轨迹。证据同时回顾了历史提交：v5.1 在 NVIDIA H100 与 L40S 上用 vLLM 展示 Llama-3.1-8B-FP8 的成本效益推理；v6.0 在 NVIDIA H200、B200 与 AMD Instinct MI350 上覆盖 Qwen3-VL、Whisper 与 gpt-oss-120b，并包含首个基于 Kubernetes 的提交。以上均为 Red Hat 自述的基准结果，具体数值未在给定证据中列出。
证据显示 Red Hat 的路线是把 vLLM 作为统一推理引擎，同时覆盖 GPU 与 CPU 两类硬件，并在 Kubernetes 上做编排层提交。这暗示其工程重点在调度与运行时一致性，而非单一加速器优化；但证据未给出吞吐、延迟或能效数字，因此不能推断具体性能优势。可验证的下一信号是 MLPerf 官方结果表中 Red Hat 提交的加速器类型、场景与指标明细。
若 Kubernetes 上的推理提交持续出现在 MLPerf 这类行业基准中，说明企业级容器编排正被纳入推理性能的正式比较维度，而不只是部署便利性。Red Hat 同时覆盖 NVIDIA 与 AMD 加速器，也反映多供应商推理栈的取向。但仅凭一篇厂商博客不足以判断市场份额或客户采用，需看后续是否有第三方复现或客户案例。
对采购方而言，价值在于把「Kubernetes 上跑推理」从架构选择变成可对照的基准项，便于在 GPU 与 CPU 混合环境中评估单位成本；对平台团队，统一 vLLM 引擎可减少多硬件适配的运维面。但证据未提供价格、能效或 TCO 数据，因此不能据此做采购决策，需等待官方结果表与独立复现。
可观察的下一信号包括：MLPerf Inference 后续轮次中 Kubernetes 类提交的数量与厂商分布；vLLM 在 CPU 路径上的官方基准数据是否公开；以及 Red Hat 是否把 v6.1 结果转化为可下载的参考配置或产品文档。若这些信号缺失，该事件应被视为厂商自述的基准更新而非行业拐点。