The Role of Disfluencies in Speech Translation
论文《The Role of Disfluencies in Speech Translation》指出当前语音翻译系统（包括 SpeechLLM）在清洗后的文本上训练，倾向于去除填充停顿和错误开始等不流畅现象，而非翻译它们。作者引入 Uh-Mazing 基准，包含人工翻译且标注不流畅的 Switchboard 语音，覆盖英语到八种目标语言。研究发现错误开始和自我修复（而非填充停顿或话语标记）导致大部分翻译质量损失，且未能保留不流畅的模型倾向于省略而非误译。推理时解码可缓解此问题，无需重新训练。论文发布基准和代码。
Development
- First ReportThe Role of Disfluencies in Speech TranslationarXiv cs.CL
- Current Assessment该研究可能推动语音翻译系统从清洗数据训练转向更真实语音数据的处理，影响语音助手、会议翻译等产品。Uh-Mazing 基准或成为评估语音翻译鲁棒性的新标准，促使厂商关注不流畅现象。Agent Pulse · analysis
该论文系统研究了语音翻译中不流畅现象（如填充停顿、错误开始）的处理问题。当前系统在清洗文本上训练，倾向于去除不流畅，但作者认为这会导致语义丢失。为此，他们构建了 Uh-Mazing 基准，包含人工翻译并标注不流畅的 Switchboard 语音，覆盖英语到八种目标语言。实验表明，错误开始和自我修复是翻译质量损失的主要来源，而填充停顿和话语标记影响较小。模型若未能保留不流畅，通常选择省略而非误译。作者提出推理时解码策略，无需重新训练即可缓解问题，并公开了基准和代码。
该研究揭示了语音翻译中不流畅现象的处理对翻译质量的影响，并提供了 Uh-Mazing 基准用于评估。推理时解码策略可能通过调整生成过程来保留不流畅，但具体机制未详述。未来可关注该解码策略的通用性及对模型架构的依赖。
该研究可能推动语音翻译系统从清洗数据训练转向更真实语音数据的处理，影响语音助手、会议翻译等产品。Uh-Mazing 基准或成为评估语音翻译鲁棒性的新标准，促使厂商关注不流畅现象。
对于语音翻译产品，保留不流畅可能提升翻译的语义准确性，改善用户体验。该研究提供的解码策略无需重新训练，可快速部署，降低改进成本。Uh-Mazing 基准可作为产品评估工具，指导优化方向。
后续可观察 Uh-Mazing 基准是否被广泛采用，以及推理时解码策略是否被集成到主流语音翻译系统中。若有效，可能减少对重新训练的需求，降低改进成本。