FedWeave: Rethinking the Unit of Specialization in Heterogeneous Federated MoE-LoRA
FedWeave 是一个针对异构联邦 MoE-LoRA 的框架，提出非对称聚合，分离专家聚合与路由器优化，使用无监督原型发现形成本地桶并跨客户端对齐，推理时稀疏推理仅激活一个专家，同时保留几乎全部软路由性能。
Development
- First ReportFedWeave: Rethinking the Unit of Specialization in Heterogeneous Federated MoE-LoRAarXiv cs.CL
- Current Assessment联邦学习在隐私敏感场景（如医疗、金融）中应用广泛，但任务异构是实际部署的主要障碍。FedWeave 提出的原型级聚合可能降低对客户端任务一致性的假设，使联邦学习更适用于真实世界数据分布。这可能会影响联邦学习平台的设计，推动更细粒度的聚合策略。Agent Pulse · analysis
FedWeave 论文提出在联邦 MoE-LoRA 中，专家需要纯度（模式一致的更新）而路由器需要对比（混合任务观测）。现有方法在客户端粒度上特化，假设客户端任务一致，但任务异构会导致跨任务干扰和梯度冲突。FedWeave 采用非对称聚合，将专家聚合与路由器优化分离，通过无监督原型发现形成本地桶并跨客户端对齐，实现原型级专家聚合，同时保留混合任务客户端轨迹用于路由器训练。推理时稀疏推理仅激活一个专家，保留几乎全部软路由性能。理论分析解释了非对称聚合的有效性。
FedWeave 的核心创新在于非对称聚合：专家聚合在原型级别进行，路由器优化在客户端轨迹级别进行。这解决了专家需要纯度而路由器需要对比的矛盾。无监督原型发现和跨客户端对齐是关键机制，可能对联邦学习中的任务异构问题有广泛适用性。下一步可验证信号：论文是否提供在更大规模异构任务上的实验对比，以及稀疏推理的性能损失具体数值。
联邦学习在隐私敏感场景（如医疗、金融）中应用广泛，但任务异构是实际部署的主要障碍。FedWeave 提出的原型级聚合可能降低对客户端任务一致性的假设，使联邦学习更适用于真实世界数据分布。这可能会影响联邦学习平台的设计，推动更细粒度的聚合策略。
对于提供联邦学习解决方案的企业，FedWeave 可能提高模型在异构数据上的适应性和性能，减少对客户端数据分布的假设，从而降低部署风险。稀疏推理特性可能降低推理成本，提升边缘设备上的可行性，增强产品竞争力。
未来可能看到 FedWeave 在更多异构联邦学习场景中的验证，以及与其他 PEFT 方法的结合。稀疏推理的优化可能降低推理成本，促进边缘部署。可关注后续工作是否将原型发现扩展到更复杂的任务结构。