b10311
llama.cpp 发布 b10311 版本，修复 Qwen3-TTS 生成时文本流被重复输入的问题。参考实现有两种互斥的 prompt 布局：非流式模式下 prefill 携带完整文本和 tts_eos，流式模式下 prefill 只携带第一个文本 token，后续文本流式输入。此前 pipeline 构建了非流式 prefill 却使用流式 overlay，导致模型在生成时重复读取文本。修复后 overlay 改为与 prefill 匹配的单个 tts_pad 行。
发展脉络
- 首次出现b10311llama.cpp
- 当前判断llama.cpp 作为开源推理引擎，持续修复模型实现细节，表明开源社区对模型兼容性的重视。此类修复有助于提升 TTS 等生成任务的稳定性，推动开源模型在边缘设备上的应用。Agent Pulse · 分析
llama.cpp 在 b10311 版本中修复了 Qwen3-TTS 的一个关键 bug。该 bug 源于参考实现中两种互斥的 prompt 布局：非流式模式 prefill 携带完整文本，流式模式 prefill 只携带第一个 token。此前 pipeline 错误地组合了非流式 prefill 和流式 overlay，导致模型在生成时重复读取文本，造成重复朗读。修复将 overlay 改为单个 tts_pad 行，与 prefill 匹配。该版本同时更新了多平台构建支持。
该修复揭示了 TTS 推理中 prompt 布局与流式模式的耦合问题。非流式与流式模式对 prefill 和 overlay 的要求不同，错误组合会导致模型重复消费输入。修复方案是确保 overlay 与 prefill 一致，避免生成时重复输入。这提示在实现多模式推理时，需严格对齐参考实现的 prompt 结构。
llama.cpp 作为开源推理引擎，持续修复模型实现细节，表明开源社区对模型兼容性的重视。此类修复有助于提升 TTS 等生成任务的稳定性，推动开源模型在边缘设备上的应用。
该修复提升了 llama.cpp 的可靠性，对依赖开源推理引擎的开发者有利。稳定的 TTS 支持可降低集成成本，加速语音应用落地，对开源生态的商业价值有正面影响。
未来可关注 llama.cpp 对 Qwen3-TTS 流式模式的进一步优化，以及类似 prompt 布局问题在其他模型中的修复。开源推理引擎的成熟将降低 TTS 部署成本。