Aug 3, 2026 · llama.cpp
b10242
llama.cpp 发布 b10242 版本，为 penalties sampler 添加后端采样器，支持 top-k 惩罚，修复 NaN 问题，并新增测试。
EVENT STORY
Development
- First Reportb10242llama.cpp
- Current Assessmentllama.cpp 持续优化推理性能，将采样等操作后端化是提升端侧和服务器推理效率的趋势。这反映了开源社区对推理栈精细优化的关注。Agent Pulse · analysis
llama.cpp 在 b10242 版本中为 penalties sampler 添加了后端采样器支持，包括初始化、应用逻辑和测试。具体改动包括：根据模型上下文设置 penalty_last_n 的默认值，确保非负；更新 llama_sampler_penalties 结构以继承后端接口；实现频率和存在性惩罚的后端处理；新增测试函数验证后端与 CPU 采样器的一致性；支持 top-k 惩罚并修复数值稳定性问题，保留 -Inf 掩码 logits 避免 NaN。
该改动将惩罚采样逻辑从 CPU 迁移到后端（如 GPU），可能提升采样性能。通过继承 llama_sampler_backend 接口，惩罚采样器可与其他后端采样器统一管理。测试覆盖了多种配置，确保后端与 CPU 结果一致。
llama.cpp 持续优化推理性能，将采样等操作后端化是提升端侧和服务器推理效率的趋势。这反映了开源社区对推理栈精细优化的关注。
对于依赖 llama.cpp 的推理服务提供商，后端采样可降低 CPU 负载，提升吞吐量，降低单位成本。开源生态的持续优化增强了其作为商业推理基础的吸引力。
后续可能看到更多采样器后端化，以及针对不同硬件的优化。可关注 llama.cpp 后续版本对采样性能的基准测试结果。