MoTE: Mixture of Task Experts for Multi-Task Video Understanding
MoTE (Mixture of Task Experts) 是一种解码器架构，将大语言模型的前馈网络转换为任务特定的专家，同时保持多模态骨干网络共享。每个样本遵循一条样本级任务路由，因此活跃的任务专家计算与存储的专家数量无关。该设计在 VideoLLM-MoTE 中实现，并在五个 COIN 基准上使用显式任务路由进行评估。五专家模型每个样本激活约 2B LLM 参数，平均 top-1 准确率高于近期 VideoLLM 基线。在相同专家拓扑下，它优于密集全专家激活和学习的稀疏路由控制。
发展脉络
- 首次出现MoTE: Mixture of Task Experts for Multi-Task Video UnderstandingHugging Face Daily Papers
- 行业反馈MoTE: Mixture of Task Experts for Multi-Task Video UnderstandingarXiv cs.LG
- 当前判断MoTE 展示了任务特定专家在视频理解中的优势，可能推动多任务模型设计向更结构化的稀疏架构发展。这种架构允许在共享骨干上添加新任务专家，而无需重新训练整个模型，可能降低多任务模型的扩展成本。Agent Pulse · 分析
MoTE 提出了一种用于多任务视频理解的新型解码器架构，解决了密集 transformer 解码器共享前馈网络导致任务行为纠缠和可控能力扩展困难的问题。MoTE 将 LLM 的前馈网络转换为任务特定专家，同时保持多模态骨干共享，每个样本遵循一条样本级任务路由，使得活跃计算与存储专家数量无关。在 VideoLLM-MoTE 中实现，并在五个 COIN 基准上评估，五专家模型每个样本激活约 2B LLM 参数，平均 top-1 准确率优于近期 VideoLLM 基线。在相同专家拓扑下，它优于密集全专家激活和学习的稀疏路由控制。
MoTE 的关键创新在于将任务级路由与稀疏 MoE 结合，通过样本级任务路由实现任务特定计算，避免了 token 级路由与任务目标不对齐的问题。这种设计使得活跃参数数量与专家总数解耦，支持可控的能力扩展。与密集全专家激活相比，MoTE 在相同拓扑下表现更好，表明任务特定专家比简单增加参数更有效。与学习的稀疏路由相比，显式任务路由提供了更稳定的训练信号。
MoTE 展示了任务特定专家在视频理解中的优势，可能推动多任务模型设计向更结构化的稀疏架构发展。这种架构允许在共享骨干上添加新任务专家，而无需重新训练整个模型，可能降低多任务模型的扩展成本。
MoTE 可能降低多任务视频模型的训练和推理成本，因为每个样本只激活部分专家，且扩展新任务时无需重新训练全部参数。对于视频理解服务提供商，这可能带来更灵活、更经济的模型更新方式。
下一步可验证的信号包括：MoTE 在更大规模视频基准或更多任务上的表现，以及任务路由是否可自动学习而非显式指定。此外，该架构在真实世界视频理解应用中的部署效果值得关注。