Beyond Initialization Loss: A Systematic Study of Token Embedding Initialization Strategies for LLM Vocabulary Extension
arXiv 论文对 Nemotron-3-Nano-30B-A3B 模型进行印地语词汇扩展，系统比较了 20 多种初始化策略，发现子词组合方法优于词汇平均和外部/学习初始化方法，最佳配置结合了均匀子词平均、印地语特定范数校准和字符长度加权子词平均。
Development
- First ReportBeyond Initialization Loss: A Systematic Study of Token Embedding Initialization Strategies for LLM Vocabulary ExtensionarXiv cs.CL
- Current Assessment词汇扩展是使预训练 LLM 适应新语言的高效途径，该研究为多语言模型开发提供了实用指导，可能降低持续预训练的成本和时间。随着多语言 AI 需求增长，高效的词汇扩展方法将成为模型适配的关键竞争力。Agent Pulse · analysis
该论文系统研究了 LLM 词汇扩展中新增 token 嵌入的初始化策略，以 Nemotron-3-Nano-30B-A3B 模型在印地语词汇扩展上的持续预训练为实验场景，比较了 20 多种初始化方法，包括词汇平均基线、外部和学习初始化方法（如 FOCUS、top-k 语义检索、残差 MLP 映射）、子词组合、范数校准以及输入输出不对称性。研究发现子词组合方法优于词汇平均和外部/学习初始化方法，其中不对称变体取得了最低的早期验证损失，并揭示了输入和输出嵌入初始化的不同偏好。最佳配置使用均匀子词平均和印地语特定范数校准初始化输入嵌入矩阵，使用字符长度加权子词平均初始化输出语言建模头。相对于标准 Mean-all 基线，该完整初始化流程显著提升了持续预训练效率。
该研究为词汇扩展的嵌入初始化提供了系统性证据，表明子词组合方法比外部学习初始化更有效，且输入和输出嵌入需要不同的初始化策略。这提示在扩展词汇时，应优先考虑基于子词统计的简单方法，而非复杂的外部映射。可验证的下一信号是：在更大模型或更多语言上复现该结论，或观察不对称初始化是否成为标准实践。
词汇扩展是使预训练 LLM 适应新语言的高效途径，该研究为多语言模型开发提供了实用指导，可能降低持续预训练的成本和时间。随着多语言 AI 需求增长，高效的词汇扩展方法将成为模型适配的关键竞争力。
对于提供多语言 AI 服务的公司，该研究可降低模型适配新语言的成本，加快产品上市速度，并可能提升模型在低资源语言上的性能，从而扩大市场覆盖。
未来研究可能探索子词组合方法在其他语言和更大模型上的泛化性，并可能结合动态词汇扩展或持续学习技术。该方向有望推动更高效的多语言模型适配流程。