Experience-Calibrated Contrastive Decoding for Mitigating Hallucinations in LM-Based Text-to-Speech
ECCD 是一种无需训练的对比解码方法，通过校准文本对齐与经验信息来减少 LM 语音合成中的幻觉。在四个模型上，SeedTTS-Eval 全部设置及 24/25 的 CV3-Eval 设置中 WER/CER 降低最多 55.6%，听感测试 CMOS 提升 +0.644。
Development
- First ReportExperience-Calibrated Contrastive Decoding for Mitigating Hallucinations in LM-Based Text-to-SpeecharXiv cs.LG
- Current Assessment该研究针对 LM 语音合成幻觉问题，提出无需训练的解决方案，可能降低部署成本。若广泛适用，可提升 TTS 系统可靠性，推动在客服、有声书等场景的应用。但需注意其在不同模型和语言上的表现差异，以及与其他缓解方法的结合效果。Agent Pulse · analysis
LM 语音合成仍易产生偏离目标文本的语音幻觉。现有缓解方法依赖架构改动或额外训练，解码时控制未被充分探索。本文提出条件信息视角，区分文本派生对齐信息与声学上下文及学习语音规律提供的经验信息，假设幻觉始于对齐支持在脆弱转换处未充分反映于所选 token。利用同一语音 LM 在有/无文本条件下的预测，提出 ECCD，一种无需训练的方法，增强对齐支持同时保留有用经验信息。ECCD 保留原始专家分布，仅施加正向对齐增强，并用集合级经验兼容性校准强度。在四个模型上，ECCD 在 SeedTTS-Eval 所有设置及 24/25 个多语言 CV3-Eval 设置中降低 WER/CER 最多 55.6%，听感测试 CMOS 提升 +0.644。
ECCD 的核心在于区分对齐信息与经验信息，并通过对比解码增强对齐支持。其无需训练，保留专家分布，仅做正向增强，并用集合级兼容性校准强度。这为解码时控制幻觉提供了新思路，可能适用于其他生成任务。下一步可验证其在不同模型规模、语言及噪声条件下的鲁棒性。
该研究针对 LM 语音合成幻觉问题，提出无需训练的解决方案，可能降低部署成本。若广泛适用，可提升 TTS 系统可靠性，推动在客服、有声书等场景的应用。但需注意其在不同模型和语言上的表现差异，以及与其他缓解方法的结合效果。
ECCD 无需训练即可减少幻觉，降低 TTS 系统维护成本，提升用户体验。对于提供 TTS 服务的公司，可快速集成，减少因幻觉导致的错误和返工，增强产品竞争力。
ECCD 可能成为 LM 语音合成解码的标准组件，并扩展到其他生成任务。未来可探索其与训练方法的结合，以及在不同模态（如视频）中的应用。需关注其计算开销和实时性。