2026年7月28日 · llama.cpp
b10164
llama.cpp 发布 b10164 版本，新增 ggml-cuda 分块 SSD 矩阵乘法以加速 Mamba-2 预填充，并修复了 CUDA SSD 的正确性和性能问题。
EVENT STORY
发展脉络
- 首次出现b10164llama.cpp
- 当前判断llama.cpp 作为开源推理引擎，持续优化 Mamba-2 等非 Transformer 架构，反映了行业对高效替代架构的关注。分块 SSD 的实现可能降低 Mamba-2 的部署门槛，推动其在边缘设备上的应用。Agent Pulse · 分析
llama.cpp 发布 b10164 版本，主要更新包括：在 ggml-cuda 中实现分块 SSD 矩阵乘法，用于加速 Mamba-2 模型的预填充阶段；修复了 CUDA SSD 的正确性，通过将 s0_stride_seq 提升为 int64_t 并改善内存合并；合并 B_weighted 和 C_scaled 以提高效率；修复了 prepare_dt 回退扫描循环中的 sdata 读写竞争。该版本还包含针对 CUDA、HIP、MUSA、MSVC 的 CICD 修复，以及测试更新。
该版本通过分块 SSD 矩阵乘法优化 Mamba-2 预填充，表明 llama.cpp 正在持续改进状态空间模型的推理效率。修复 CUDA SSD 正确性和性能问题，体现了对模型精度和速度的平衡。
llama.cpp 作为开源推理引擎，持续优化 Mamba-2 等非 Transformer 架构，反映了行业对高效替代架构的关注。分块 SSD 的实现可能降低 Mamba-2 的部署门槛，推动其在边缘设备上的应用。
llama.cpp 的优化直接降低 Mamba-2 模型的推理成本，有利于开发者和企业部署更高效的 AI 应用，尤其在资源受限场景下具有商业价值。
未来可关注 Mamba-2 在 llama.cpp 上的推理速度提升数据，以及是否支持更多状态空间模型。分块 SSD 技术可能被其他推理框架借鉴。