Language-Specialized Multi-Teacher On-Policy Distillation for Multilingual LLM-Based ASR
arXiv 论文 2608.03610v1 提出 Language-Specialized Multi-Teacher On-Policy Distillation (LS-MOPD)，用于多语言 LLM 语音识别。该方法通过 RL 独立优化语言专用教师，再通过语言路由和 token 级多教师蒸馏集成到通用多语言学生，以减少跨语言优化冲突。实验覆盖普通话、普通话方言、粤语等基准。
Development
- First ReportLanguage-Specialized Multi-Teacher On-Policy Distillation for Multilingual LLM-Based ASRarXiv cs.CL
- Current Assessment该研究针对多语言 ASR 的优化冲突问题，提出教师-学生蒸馏框架，可能推动多语言语音助手和翻译系统的性能提升。若方法有效，可能成为多语言 ASR 训练的新范式，影响相关产品开发。Agent Pulse · analysis
arXiv 论文 2608.03610v1 提出 Language-Specialized Multi-Teacher On-Policy Distillation (LS-MOPD)，用于多语言 LLM 语音识别。现代基于 LLM 的 ASR 系统已将多语言能力作为标准，但不同语言的声学、音系和词汇特征差异导致联合建模时出现优化冲突，削弱语言专门化。LS-MOPD 将语言特定知识获取与多语言能力集成解耦：先通过强化学习独立优化语言专用教师，再通过语言路由和 token 级多教师蒸馏将专家知识集成到通用多语言学生，从而减少直接跨语言优化冲突。论文还探索了静态和动态两种声学前缀配置，以研究师生前缀一致性对在线蒸馏效果的影响。实验覆盖普通话、普通话方言、粤语等基准。
LS-MOPD 的核心在于解耦语言特定优化与多语言集成，通过 RL 训练语言专用教师，再以 token 级多教师蒸馏和语言路由集成到学生模型，避免联合训练中的梯度冲突。静态与动态声学前缀配置的对比可能揭示师生输入一致性对在线蒸馏的影响，为多语言 ASR 训练提供新思路。
该研究针对多语言 ASR 的优化冲突问题，提出教师-学生蒸馏框架，可能推动多语言语音助手和翻译系统的性能提升。若方法有效，可能成为多语言 ASR 训练的新范式，影响相关产品开发。
多语言 ASR 是语音交互产品的关键能力，LS-MOPD 若提升多语言识别精度，可增强语音助手、会议转写等产品的多语言支持，降低跨语言服务成本，提升用户体验。
后续可关注该方法在更多语言和更大规模模型上的验证，以及是否被工业界采用。若静态与动态前缀配置的对比结果明确，可能指导实际部署中的输入设计。