b10184
llama.cpp 发布 b10184 版本，支持 macOS Apple Silicon (arm64, KleidiAI enabled)、Ubuntu x64 (ROCm 7.2, OpenVINO, SYCL FP32/FP16)、Windows x64 (CUDA 12/13, HIP) 等平台，并包含 UI 组件。
Development
- First Reportb10184llama.cpp
- Current Assessmentllama.cpp 持续增加对多种硬件后端的支持，反映了开源社区推动 LLM 推理去中心化的趋势。KleidiAI 和 ROCm 的加入，使得 Apple 和 AMD 用户能够更高效地本地运行模型，可能加速边缘 AI 和隐私敏感场景的采用。Agent Pulse · analysis
llama.cpp 发布 b10184 版本，扩展了硬件支持范围，新增对 macOS Apple Silicon 的 KleidiAI 加速、Ubuntu 上的 ROCm 7.2、OpenVINO、SYCL FP32/FP16，以及 Windows 上的 CUDA 12/13、HIP 等后端。同时提供 UI 组件。该版本还包含对 MTP 审查反馈的修复。
b10184 版本显著扩展了 llama.cpp 的硬件后端支持，特别是新增了 KleidiAI 加速（针对 Apple Silicon）和 ROCm 7.2（AMD GPU），表明项目正在积极适配更多消费级和专业级硬件。SYCL FP16 支持暗示了对 Intel GPU 的优化。这些变化降低了在非 NVIDIA 硬件上运行 LLM 的门槛。
llama.cpp 持续增加对多种硬件后端的支持，反映了开源社区推动 LLM 推理去中心化的趋势。KleidiAI 和 ROCm 的加入，使得 Apple 和 AMD 用户能够更高效地本地运行模型，可能加速边缘 AI 和隐私敏感场景的采用。
对于依赖本地推理的开发者，b10184 提供了更广泛的硬件选择，降低了云推理成本。AMD 和 Apple 用户可直接受益，无需依赖 NVIDIA 硬件。这有助于扩大 LLM 应用的用户基础，尤其是在隐私和延迟敏感的场景。
预计 llama.cpp 将继续扩展硬件支持，包括更多移动端和嵌入式平台。随着 KleidiAI 等加速器的成熟，Apple Silicon 上的 LLM 推理性能可能接近甚至超越部分桌面 GPU，推动本地 AI 应用生态发展。