2026年8月7日 · llama.cpp
b10321
llama.cpp 发布 b10321 版本，修复了 Metal 后端 NORM/RMS_NORM 内核在行长度导致部分 simdgroup 时计算错误的问题。修复方式是将 ne00_t 向上取整到完整的 simdgroup 数量，而不是删除 clamp 行。
EVENT STORY
发展脉络
- 首次出现b10321llama.cpp
- 当前判断此修复表明 llama.cpp 在持续优化 Metal 后端的数值正确性和性能，反映了开源社区对跨平台推理引擎的重视。对于依赖 llama.cpp 的开发者，及时更新版本可以避免在特定行长度下出现归一化错误。Agent Pulse · 分析
llama.cpp 在 b10321 版本中修复了一个 Metal 后端归一化内核的 bug。当行长度不是 simdgroup 大小的整数倍时，线程组大小被设置为 ne00_t，导致最后一个 simdgroup 不完整，其部分和未被读取，使得行和偏小，均值和方差错误。修复方法是将 ne00_t 向上取整到完整的 simdgroup 数量，而不是删除 clamp 行，因为删除会使得线程组大小变为下一个 2 的幂，导致空闲线程浪费。
该修复揭示了 Metal 后端中线程组大小与 simdgroup 对齐的重要性。在跨 simdgroup 归约时，部分和通过共享内存传递，如果最后一个 simdgroup 不完整，其部分和不会被读取，导致结果错误。向上取整到完整的 simdgroup 数量可以保持线程组大小最小，同时避免空闲线程。
此修复表明 llama.cpp 在持续优化 Metal 后端的数值正确性和性能，反映了开源社区对跨平台推理引擎的重视。对于依赖 llama.cpp 的开发者，及时更新版本可以避免在特定行长度下出现归一化错误。
对于使用 llama.cpp 在 Apple 设备上部署模型的团队，此修复提高了数值稳定性，减少了因归一化错误导致的模型输出异常，降低了调试成本。
未来可能看到更多针对 Metal 后端边缘情况的修复，以及更严格的测试覆盖。开发者应关注 llama.cpp 的发布日志，以获取类似修复。