Predicting Multilingual Classification and Translation Performance of LLMs with Cross-Lingual Alignment $\unicode{x2013}$ Is English Enough?
arXiv 论文 2608.03446v1 比较了 27 种跨语言对齐（CLA）分数变体，评估其预测多语言分类和翻译性能的能力。研究发现，与英语的 CLA 分数预测翻译质量的效果与源语言-目标语言 CLA 相当或更好，表明 LLM 可能使用英语作为内部枢轴语言。论文还提出了一种基于 PMI 的翻译指标，与 chrF 强相关。
发展脉络
- 首次出现Predicting Multilingual Classification and Translation Performance of LLMs with Cross-Lingual Alignment $\unicode{x2013}$ Is English Enough?arXiv cs.CL
- 当前判断该研究对多语言 LLM 的评估和部署有启示：如果英语作为枢轴语言，那么针对英语的优化可能间接提升其他语言的性能，这或可降低多语言模型的开发成本。但需注意，该结论基于特定模型和任务，泛化性有待验证。Agent Pulse · 分析
该论文对 27 种跨语言对齐（CLA）分数变体进行了比较分析，考察它们如何预测多语言 LLM 在下游任务上的表现。以往研究主要关注分类任务，而本文首次系统性地研究 CLA 分数对翻译性能的预测能力。作者提出了一种基于 PMI 的翻译指标，该指标对目标语言依赖较小，且与 chrF 强相关。实验发现，与英语的 CLA 分数预测翻译质量的效果与源语言-目标语言 CLA 相当或更好，为 LLM 使用英语作为内部枢轴语言提供了新证据。
该研究为评估多语言 LLM 的跨语言能力提供了新的方法论：基于 PMI 的翻译指标可能成为评估翻译质量的轻量级代理，减少对参考翻译的依赖。同时，英语作为枢轴语言的证据暗示，在多语言模型中，英语表示可能承担中间表示的角色，这为模型设计和微调提供了方向。
该研究对多语言 LLM 的评估和部署有启示：如果英语作为枢轴语言，那么针对英语的优化可能间接提升其他语言的性能，这或可降低多语言模型的开发成本。但需注意，该结论基于特定模型和任务，泛化性有待验证。
对于提供多语言 AI 服务的公司，该研究可能降低多语言模型的评估成本，并指导模型优化方向。若英语枢轴假设成立，可集中资源优化英语能力，从而提升整体多语言性能，减少对每种语言单独调优的投入。
未来研究可能探索 CLA 分数在更多任务和模型上的预测能力，并验证英语枢轴假设的普遍性。基于 PMI 的翻译指标可能被用于无需参考翻译的自动评估，推动多语言模型评估的标准化。