b10231
llama.cpp 发布 b10231 版本，支持 DSpark sidecar 解析（#26458）。dspark- 文件像其他推测性 sidecar 一样解析：-hfd 标签适用，请求的 sidecar 在标签处无需完整模型即可解析，显式 -md 选择禁用发现。未指定类型时，dspark 在自动选择中优先于 dflash，因为其 sidecar 带有额外的马尔可夫头。
Development
- First Reportb10231llama.cpp
- Current Assessmentllama.cpp 作为广泛使用的推理引擎，其对 DSpark 的支持反映了推测解码技术的演进。DSpark 可能是一种新的推测解码方法，其 sidecar 设计可能影响推理效率。此更新可能推动更多模型采用类似机制，促进推理优化。Agent Pulse · analysis
llama.cpp 在 b10231 版本中引入了对 DSpark sidecar 解析的支持。该功能允许 dspark- 文件像其他推测性 sidecar 一样被解析，包括 -hfd 标签、无需完整模型即可解析，以及显式 -md 选择禁用发现。当未指定类型时，dspark 在自动选择中优先于 dflash，因为其 sidecar 带有额外的马尔可夫头。此更新可能影响推测解码的模型选择逻辑，为使用 DSpark 模型的用户提供更灵活的配置。
该变更表明 llama.cpp 正在扩展推测解码的 sidecar 机制，以支持 DSpark 模型。DSpark 的 sidecar 带有额外的马尔可夫头，这可能在推测解码中提供更好的预测性能。自动选择中 dspark 优先于 dflash，暗示 DSpark 在特定场景下可能更优。开发者应关注 sidecar 解析逻辑的变化，以确保现有配置兼容。
llama.cpp 作为广泛使用的推理引擎，其对 DSpark 的支持反映了推测解码技术的演进。DSpark 可能是一种新的推测解码方法，其 sidecar 设计可能影响推理效率。此更新可能推动更多模型采用类似机制，促进推理优化。
对于依赖 llama.cpp 进行推理部署的企业，DSpark 支持可能带来推理速度的提升，从而降低单位推理成本。这有助于提升产品竞争力，尤其是在对延迟敏感的应用中。
未来，DSpark 可能成为推测解码的主流选择，尤其是在需要高效推理的场景。llama.cpp 的持续更新可能引入更多 sidecar 类型，进一步优化推理性能。开发者应关注 DSpark 的采用情况及其对推理速度的影响。