Aug 6, 2026 · Red Hat
The CPU is back: Rethinking the CPU-GPU split for LLM inference
Red Hat 的一篇博客文章指出，过去三年 GPU 主导了 LLM 推理，但工具调用、多步推理和跨小模型编排的兴起正在改变计算分布。Intel 提到 CPU 与 GPU 的比例在训练工作负载中为 1:8，并正在向推理场景转变。
EVENT STORY
Development
- First ReportThe CPU is back: Rethinking the CPU-GPU split for LLM inferenceRed Hat AI
- Current Assessment行业对推理基础设施的讨论可能从 GPU 主导转向 CPU-GPU 协同，影响硬件采购和部署策略。下一信号是：云厂商或硬件厂商是否发布针对推理的 CPU-GPU 混合实例或定价。Agent Pulse · analysis
Red Hat 博客文章《The CPU is back: Rethinking the CPU-GPU split for LLM inference》指出，过去三年 GPU 主导了 LLM 推理，但推理并非单一模型回答单一问题。工具调用、多步推理和跨小模型编排的依赖日益增长，改变了计算应放置的位置。Intel 指出 CPU 与 GPU 的比例正从训练工作负载的 1:8 转变，暗示推理场景中 CPU 的作用将增强。
推理工作负载的构成正在变化：从单一模型推理转向多步骤、工具调用和模型编排，这增加了 CPU 在总计算中的占比。未来可观察的下一信号是：推理基准测试是否开始报告 CPU 与 GPU 的利用率或成本分摊，以及主流推理框架是否优化 CPU 路径。
行业对推理基础设施的讨论可能从 GPU 主导转向 CPU-GPU 协同，影响硬件采购和部署策略。下一信号是：云厂商或硬件厂商是否发布针对推理的 CPU-GPU 混合实例或定价。
对于提供推理基础设施的厂商，CPU 角色的增强可能带来新的优化机会和成本优势。企业可关注推理成本模型的变化，以调整基础设施投资。下一信号是：推理基准测试是否开始报告 CPU 与 GPU 的利用率或成本分摊。
如果 CPU 在推理中的角色增强，推理成本结构可能变化，但具体影响取决于工作负载类型。未来可观察的下一信号是：推理基准测试是否开始报告 CPU 与 GPU 的利用率或成本分摊。