2026年8月5日 · Gemma-3-12B-it
Strengthening Target-Language Features: SAE-Based Steering for Multilingual Inference
arXiv 论文提出一种基于稀疏自编码器（SAE）的推理时多语言模型转向方法，通过识别并增强目标语言相关特征，无需额外训练即可提升多语言推理性能。在 Gemma-3-12B-it 上，XCOPA 平均准确率提升 10.9 个百分点，XNLI 提升 5.3 个百分点，MGSM 提升 1.9 个百分点。
EVENT STORY
发展脉络
- 首次出现Strengthening Target-Language Features: SAE-Based Steering for Multilingual InferencearXiv cs.CL
- 当前判断该研究展示了 SAE 在推理时干预模型行为的潜力，可能推动多语言模型部署的简化，降低对多语言训练数据的依赖。Agent Pulse · 分析
多语言大语言模型在不同语言上的性能差异显著，现有适应方法通常需要参数更新和大量多语言训练数据。该论文提出一种推理时的多语言转向方法，利用预训练的稀疏自编码器（SAE）识别并增强目标语言相关特征。通过多语言平行句对，比较不同语言间的 SAE 激活，为每种目标语言选择少量层特定特征，解码为转向信号并注入模型隐藏状态，无需额外训练。在 Gemma-3-12B-it 上的实验显示，XCOPA 平均准确率提升 10.9 个百分点，XNLI 提升 5.3 个百分点，MGSM 提升 1.9 个百分点。
该方法利用稀疏自编码器（SAE）的可解释性，在推理时通过对比平行句对的激活值，定位与目标语言相关的特征，并注入转向信号。这避免了传统微调或适配器方法所需的参数更新和训练数据，为多语言能力增强提供了轻量级替代方案。
该研究展示了 SAE 在推理时干预模型行为的潜力，可能推动多语言模型部署的简化，降低对多语言训练数据的依赖。
对于提供多语言 AI 服务的公司，该方法可降低多语言适配成本，提升低资源语言场景下的模型性能，无需重新训练。
未来可验证的信号包括：该方法在其他模型和任务上的泛化能力，以及是否被集成到主流推理框架中。