Efficient Multilingual Neural Machine Translation via Corpus-Driven Vocabulary Pruning: An English-Arabic Case Study
论文提出一种结合词汇剪枝与定向微调的通用优化框架，用于多语言神经机器翻译（MNMT）模型。在英语-阿拉伯语语言对上，使用 M2M100、NLLB-200 和 mBART-50 三个模型进行评估，将词汇量从超过 128,000 减少到约 10,000，实现 60% 的内存节省且性能无损失。剪枝并微调后的 M2M100 模型 BLEU 分数为 42.04，而 OPUS-MTen-ar 双语模型为 44.59，但前者在多个指标上显著优于后者。
Development
- First ReportEfficient Multilingual Neural Machine Translation via Corpus-Driven Vocabulary Pruning: An English-Arabic Case StudyarXiv cs.CL
- Current Assessment多语言模型部署成本高，词汇剪枝提供了一种降低内存和计算开销的途径，使多语言模型在资源受限环境（如边缘设备）中更可行。这可能会推动多语言翻译服务的普及，并影响模型压缩领域的研究方向。Agent Pulse · analysis
大规模预训练多语言模型在神经机器翻译中面临词汇表和嵌入层过大导致的内存和计算消耗问题。现有压缩方法如剪枝、量化和知识蒸馏主要保留原始词汇结构，未解决根本效率问题。本文提出一种通用优化框架，结合词汇剪枝方法和定向微调协议，针对 MNMT 模型进行优化。在英语-阿拉伯语语言对上，使用 M2M100、NLLB-200 和 mBART-50 三个模型评估，将词汇量从超过 128,000 减少到约 10,000，实现 60% 内存节省且性能无损失。结果显示，优化后的多语言模型可以匹配或超过专用双语基线的性能。特别是，剪枝并微调后的 M2M100 模型 BLEU 分数为 42.04，而 OPUS-MTen-ar 双语模型为 44.59，但前者在多个指标上显著优于后者。
词汇剪枝通过移除低频或冗余 token 显著减少嵌入层大小，结合定向微调可恢复性能。该方法在三个主流多语言模型上验证，表明词汇剪枝是减少内存消耗的有效手段，且不牺牲翻译质量。未来可探索更智能的剪枝策略，如基于注意力或语义相似度，以进一步提升效率。
多语言模型部署成本高，词汇剪枝提供了一种降低内存和计算开销的途径，使多语言模型在资源受限环境（如边缘设备）中更可行。这可能会推动多语言翻译服务的普及，并影响模型压缩领域的研究方向。
对于提供多语言翻译服务的公司，该方法可降低推理成本，提高模型部署效率，从而提升竞争力。对于模型压缩工具提供商，这是一个潜在的产品方向。
该框架可扩展到更多语言对和模型，验证其通用性。未来可能结合量化或知识蒸馏进一步压缩模型，或探索动态词汇剪枝以适应不同领域。