2026年8月3日 · llama.cpp
b10243
llama.cpp 发布 b10243 版本，该版本在 'full' indexer 层中分配 indexer 缓存。
EVENT STORY
发展脉络
- 首次出现b10243llama.cpp
- 当前判断llama.cpp 持续迭代，表明开源推理引擎在性能和资源优化方面不断进步，可能影响本地推理的效率和成本。Agent Pulse · 分析
llama.cpp 发布了 b10243 版本，该版本包含一个改动：仅在 'full' indexer 层中分配 indexer 缓存。该版本支持多种平台和硬件后端，包括 macOS、iOS、Linux、Android、Windows 和 openEuler，并支持 CPU、Vulkan、ROCm、OpenVINO、SYCL、CUDA、HIP 等。
该改动可能优化内存使用，通过仅在需要完整索引的层分配缓存，减少内存占用。但具体影响需进一步验证。
llama.cpp 持续迭代，表明开源推理引擎在性能和资源优化方面不断进步，可能影响本地推理的效率和成本。
对于依赖 llama.cpp 进行本地推理的开发者，该优化可能降低内存需求，提升部署灵活性。
后续可关注该改动对推理速度和内存占用的实际影响，以及是否被合并到主分支。