b10255
llama.cpp 发布 b10255，扩展 oneDNN SDPA 以支持非 FP16 KV 缓存（Q4_0–Q8_0 和 FP32），通过设备端反量化或转换为密集 FP16 后送入 SDPA 图。支持 Q4_0、Q4_1、Q5_0、Q5_1、Q8_0 和 F32，排除 BF16 和 IQ 类型。非 FP16 需要 K >= 1024 且 Q >= 32（仅 prefill）。包含流同步修复和移除 V_is_K_view 别名。
Development
- First Reportb10255llama.cpp
- Current Assessmentllama.cpp 持续优化 SYCL 后端，表明 Intel GPU 在 AI 推理中的重要性日益增加。支持更多 KV 缓存量化类型，有助于在 Intel 硬件上降低内存占用，提升长上下文推理的可行性。这反映了开源社区对多硬件平台适配的重视，可能推动 Intel 在 AI 推理市场的竞争力。Agent Pulse · analysis
llama.cpp 在 b10255 版本中扩展了 oneDNN SDPA 路径，使其支持非 FP16 的 KV 缓存，包括 Q4_0、Q4_1、Q5_0、Q5_1、Q8_0 和 FP32。该实现通过在设备端将 K/V 反量化或转换为密集 FP16，然后送入 SDPA 图，融合的脉动阵列内核与原生 FP16 路径相同。BF16 和 IQ 类型因缺少转换内核而被排除。非 FP16 路径有约束：K 必须大于等于 1024，Q 必须大于等于 32，且仅用于 prefill。FP16 KV 缓存仍支持任意长度。此外，该版本包含流同步修复（无条件调用 stream->wait_and_throw()）和移除 V_is_K_view 别名（K 和 V 始终反量化到独立缓冲区）。
该 PR 通过设备端反量化将低精度 KV 缓存转换为 FP16，从而复用现有的 FP16 SDPA 内核，避免了为每种量化类型编写专用内核。这降低了内存带宽需求，因为 KV 缓存以压缩格式存储，但增加了转换开销。非 FP16 路径限制为 prefill 且 K >= 1024、Q >= 32，表明转换内核可能对短序列效率不高。未来可观察是否支持 BF16 和 IQ 类型，以及是否扩展到 decode 阶段。
llama.cpp 持续优化 SYCL 后端，表明 Intel GPU 在 AI 推理中的重要性日益增加。支持更多 KV 缓存量化类型，有助于在 Intel 硬件上降低内存占用，提升长上下文推理的可行性。这反映了开源社区对多硬件平台适配的重视，可能推动 Intel 在 AI 推理市场的竞争力。
该更新降低了 Intel GPU 上运行大模型的内存需求，使更多用户能够在有限显存下处理更长上下文，可能提升 llama.cpp 在 Intel 平台上的采用率。对于依赖 Intel 硬件的企业，这有助于降低推理成本，但需验证实际性能提升。
未来可关注 llama.cpp 是否将非 FP16 KV 缓存支持扩展到 decode 阶段，以及是否添加 BF16 和 IQ 类型的转换内核。此外，观察 SYCL 后端的性能基准测试，以评估不同量化类型在 Intel GPU 上的实际收益。