2026年8月7日 · llama.cpp
b10312
llama.cpp 发布 b10312 版本，包含服务器路由改进：不驱逐繁忙模型（#26567）。该版本提供 macOS、Linux、Windows、Android 等平台的多种构建选项，包括 CPU、Vulkan、ROCm、CUDA 等后端。
EVENT STORY
发展脉络
- 首次出现b10312llama.cpp
- 当前判断llama.cpp 作为本地推理的重要开源项目，其服务器功能的改进反映了本地推理从单模型向多模型服务演进的趋势。不驱逐繁忙模型有助于提升服务可靠性，可能吸引更多开发者将其用于生产环境。Agent Pulse · 分析
llama.cpp 发布 b10312 版本，主要更新是服务器路由策略：不再驱逐正在繁忙的模型。这一改动可能影响多模型部署时的资源调度，避免因模型被驱逐导致的服务中断。版本同时提供了广泛的平台支持，包括 macOS（Apple Silicon、Intel）、Linux（多种架构和加速后端）、Windows（CPU、CUDA、Vulkan 等）、Android 等。
该改动针对服务器路由逻辑，可能涉及模型加载和卸载的调度算法。不驱逐繁忙模型意味着需要更精细的模型状态跟踪，可能增加内存占用或需要更复杂的队列管理。这暗示 llama.cpp 正在优化多模型并发场景下的稳定性。
llama.cpp 作为本地推理的重要开源项目，其服务器功能的改进反映了本地推理从单模型向多模型服务演进的趋势。不驱逐繁忙模型有助于提升服务可靠性，可能吸引更多开发者将其用于生产环境。
对于依赖 llama.cpp 提供本地推理服务的团队，该改动可减少因模型驱逐导致的请求失败，提升服务稳定性，降低运维成本。同时，多模型支持有助于在有限硬件上提供多样化服务，增强产品竞争力。
后续可关注 llama.cpp 是否引入更智能的模型调度策略，如基于负载预测的预加载或基于优先级的驱逐。也可能推动其他推理框架跟进类似的路由优化。