b10148
llama.cpp 发布 b10148 版本，修复了显式 -md 优先级问题，使显式草稿文件选择禁用 sidecar 解析；将 -hfd 标签应用于 sidecar 解析，标签直接锚定 sidecar，精确匹配标签或最接近的量化，即使没有完整模型匹配也能解析；将推测加载日志从 trace 提升到 info 级别。
Development
- First Reportb10148llama.cpp
- Current Assessmentllama.cpp 作为广泛使用的推理引擎，其推测解码的改进反映了开源社区对推理性能优化的持续关注，通过更灵活的配置和更好的可观测性，降低推测解码的使用门槛。Agent Pulse · analysis
llama.cpp 在 b10148 版本中修复了推测解码（speculative decoding）的多个问题。首先，显式指定的 --model-draft 文件现在优先于 sidecar 解析，修复了之前被静默覆盖的问题。其次，-hfd 标签现在直接锚定 sidecar 解析，支持精确标签匹配或最接近的量化，即使没有匹配的完整模型也能解析 sidecar，并且有线草稿 sidecar 被视为显式草稿，避免主计划重复下载。最后，推测加载日志从 trace 提升到 info 级别，以便在默认详细度下显示加载的草稿模型和 MTP 草稿上下文。这些改进增强了推测解码的配置灵活性和可观测性。
推测解码的 sidecar 解析逻辑得到增强：显式草稿文件现在禁用 sidecar 解析，确保手动配置优先；标签锚定机制允许 sidecar 独立于完整模型解析，支持精确匹配或最近量化，提高了配置的鲁棒性。日志级别的提升有助于调试推测解码配置。
llama.cpp 作为广泛使用的推理引擎，其推测解码的改进反映了开源社区对推理性能优化的持续关注，通过更灵活的配置和更好的可观测性，降低推测解码的使用门槛。
对于使用 llama.cpp 进行推理部署的团队，这些修复减少了配置错误和资源浪费，提升了推理效率，降低了运营成本。
未来可能看到更多关于推测解码的优化，如更智能的草稿模型选择或自动配置，以及与其他推理优化技术的集成。