b10246
llama.cpp 发布 b10246 版本，针对 OpenCL 后端，将大型 q6_K lm_head 路由到 flat GEMV，添加直接大小条件，因为原始维度条件不足。例如 gemma-4 E2B 的 q6_K lm_head 尺寸为 [1536, 262144]，足以减慢 gemv_noshuffle，但不满足维度条件 (ne0 >= 2048)。
Development
- First Reportb10246llama.cpp
- Current Assessmentllama.cpp 持续优化推理性能，尤其针对不同硬件后端。此类微调虽小，但累积起来可显著提升用户体验。开源生态的快速迭代是其在 AI 推理领域保持竞争力的关键。Agent Pulse · analysis
llama.cpp 在 b10246 版本中修复了 OpenCL 后端的一个性能问题：大型 q6_K lm_head 权重未正确路由到 flat GEMV 内核。原始代码仅基于维度条件（ne0 >= 2048）判断，但某些大型权重（如 gemma-4 E2B 的 [1536, 262144]）不满足该条件，却足以导致 gemv_noshuffle 变慢。修复通过添加直接大小条件，确保此类权重使用更快的 flat GEMV 路径。
该修复表明，在 GPU 内核选择中，仅依赖维度条件可能不足，权重大小（如元素总数）也是关键因素。对于大型矩阵，flat GEMV 可能比通用 GEMV 更高效。开发者应检查内核选择逻辑，考虑添加基于大小的条件，并针对实际模型权重进行基准测试。
llama.cpp 持续优化推理性能，尤其针对不同硬件后端。此类微调虽小，但累积起来可显著提升用户体验。开源生态的快速迭代是其在 AI 推理领域保持竞争力的关键。
对于依赖 llama.cpp 的开发者或企业，此优化可降低推理延迟，提升用户体验，尤其对于大型模型。无需额外硬件成本即可获得性能提升，具有直接的经济价值。
未来可能看到更多针对特定模型权重形状的优化，以及更智能的内核选择策略。开发者可关注 llama.cpp 的后续版本，看是否将类似条件扩展到其他量化类型或后端。