Beyond Geometric Complementarity: Coherent Overlap in Sparse Mixture-of-Experts Routing
arXiv 论文 2607.28308v1 提出 Expert Subspace Separation Index (ESSI) 和匹配路由残差等方法，在六个 MoE 架构中发现专家子空间重叠显著，但实际路由比匹配替代方案更好地解释 token 表示；在 OLMoE、Mixtral 和 DeepSeek 的 39 个因子单元中，所选候选比最强未选对手解释更多残差，但实际前缀在所有单元中缩小了这一优势，所有交互为负，95% 置信区间低于零；添加后期专家可改善下一 token 预测。
发展脉络
- 首次出现Beyond Geometric Complementarity: Coherent Overlap in Sparse Mixture-of-Experts RoutingarXiv cs.LG
- 当前判断该研究对 MoE 模型的架构设计有启示：专家子空间重叠可能不是问题，路由机制的有效性可能更多依赖于上下文相关的选择。这或可引导未来 MoE 设计更关注路由策略和专家交互，而非单纯追求子空间分离。Agent Pulse · 分析
该论文重新审视稀疏混合专家（MoE）语言模型中路由的几何互补性假设。作者区分了路由一致性、候选质量和候选-上下文交互，并引入专家子空间分离指数（ESSI）、匹配路由残差和前缀控制的 2x2 因子设计。在六个 MoE 架构中，专家子空间重叠显著，但实际路由比匹配替代方案更好地解释 token 表示。在 OLMoE、Mixtral 和 DeepSeek 的 39 个因子单元中，所选候选比最强未选对手解释更多残差，但实际前缀在所有单元中缩小了这一优势，所有交互为负，95% 置信区间低于零。这种几何上的缩小并不意味着功能冗余：添加后期专家可改善下一 token 预测。
该研究为 MoE 路由机制提供了新的分析框架，区分了路由一致性、候选质量和候选-上下文交互。ESSI 指数和匹配路由残差方法可用于评估专家子空间的重叠与路由有效性。研究发现专家子空间重叠显著，但实际路由仍优于替代方案，表明路由选择可能编码了上下文相关的信息，而非仅依赖几何互补性。前缀导致的负交互表明上下文会压缩候选专家的表示优势，但功能上仍具价值。
该研究对 MoE 模型的架构设计有启示：专家子空间重叠可能不是问题，路由机制的有效性可能更多依赖于上下文相关的选择。这或可引导未来 MoE 设计更关注路由策略和专家交互，而非单纯追求子空间分离。
对于使用 MoE 模型的团队，该研究提供了评估路由质量的工具，可能帮助优化模型性能或降低推理成本。
后续研究可探索如何利用 ESSI 等指标指导专家初始化或路由训练，以及在不同规模和任务上验证负交互的普遍性。