2026年7月31日 · llama.cpp
b10205
llama.cpp 发布 b10205 版本，为 ggml-zendnn 后端添加了用于 mul_mat_id 的 group matmul 直接 API，并根据专家数量调整了 MUL_MAT_ID 回退阈值。
EVENT STORY
发展脉络
- 首次出现b10205llama.cpp
- 当前判断llama.cpp 持续优化多后端支持，特别是对新兴硬件如 zendnn 的适配，反映了开源社区对多样化推理硬件的重视，可能推动边缘和异构计算场景下的模型部署。Agent Pulse · 分析
llama.cpp 发布 b10205 版本，为 ggml-zendnn 后端添加了用于 mul_mat_id 的 group matmul 直接 API，并根据专家数量调整了 MUL_MAT_ID 回退阈值。该版本同时提供了广泛的平台支持，包括 macOS、Linux、Windows、Android 等，并启用了多种后端如 Vulkan、ROCm、CUDA 等。
该版本为 ggml-zendnn 后端引入了 group matmul 直接 API，用于优化 mul_mat_id 操作，这可能提升 MoE 模型在特定硬件上的推理性能。同时，根据专家数量调整回退阈值，表明针对不同规模的 MoE 模型进行了调优。
llama.cpp 持续优化多后端支持，特别是对新兴硬件如 zendnn 的适配，反映了开源社区对多样化推理硬件的重视，可能推动边缘和异构计算场景下的模型部署。
对于依赖 llama.cpp 进行本地推理的开发者，该优化可能降低 MoE 模型的推理延迟，提升用户体验，从而增强相关产品的竞争力。
后续可关注该 API 在更多硬件上的性能基准测试，以及是否会被其他推理框架采用。