b10208
llama.cpp 发布 b10208 版本，为 SYCL 后端添加 oneMKL GEMM flash attention，用于 XMX 加速的 prompt 处理。修复了 normalize kernel 中 interleaved dst layout 问题，移除了 7 个冗余 stream->wait() 调用，并新增 MKL_FA_DISABLE、MKL_FA_DEBUG、MKL_FA_DIAG 环境变量。测试显示 Gemma-4-26B 在 B70/Battlemage 上速度提升 1.97 倍（1473 t/s vs 746 TILE）。
Development
- First Reportb10208llama.cpp
- Current Assessmentllama.cpp 持续优化 SYCL 后端，表明跨平台推理框架对 Intel 硬件（如 Battlemage）的重视，可能推动 Intel GPU 在 AI 推理市场的采用。性能提升 1.97 倍展示了专用内核优化的潜力，可能促使其他框架跟进类似优化。Agent Pulse · analysis
llama.cpp 在 b10208 版本中为 SYCL 后端引入了基于 oneMKL GEMM 的 flash attention 实现，针对 XMX 加速的 prompt 处理进行了优化。该实现修复了 normalize kernel 中 interleaved dst layout 的问题，此前错误的布局导致除 Qwen3.6-27B 外的所有模型注意力计算损坏。同时移除了 7 个冗余的 stream->wait() 调用，因为 SYCL in-order 队列已序列化依赖，仅保留 4 个 MKL GEMM 与 SYCL 之间的握手屏障。新增环境变量 MKL_FA_DISABLE、MKL_FA_DEBUG、MKL_FA_DIAG 用于 A/B 测试和调试。在 B70/Battlemage 硬件上，Gemma-4-26B 的推理速度从 746 t/s 提升至 1473 t/s，提升 1.97 倍。
该实现利用 oneMKL GEMM 替代 TILE 路径，在 XMX 硬件上获得显著加速，表明针对特定硬件优化的内核可大幅提升推理性能。修复 interleaved dst layout 问题凸显了内存布局对注意力计算正确性的关键影响。移除冗余同步调用表明对 SYCL 队列语义的深入理解，可减少不必要的开销。未来可关注该实现是否推广至其他模型和硬件，以及 MKL_FA_DISABLE 等调试工具是否成为标准配置。
llama.cpp 持续优化 SYCL 后端，表明跨平台推理框架对 Intel 硬件（如 Battlemage）的重视，可能推动 Intel GPU 在 AI 推理市场的采用。性能提升 1.97 倍展示了专用内核优化的潜力，可能促使其他框架跟进类似优化。
该优化降低了 Intel GPU 上运行大模型的推理成本，提升了吞吐量，可能吸引更多用户使用 llama.cpp 和 Intel 硬件，对 Intel 和开源社区均有商业价值。
后续版本可能将 oneMKL GEMM flash attention 扩展到更多模型和硬件，并进一步优化内存布局和同步策略。调试工具（如 MKL_FA_DIAG）可能成为标准功能，帮助开发者诊断注意力实现问题。