FedTopo: Relation-Level Topology Sharing for Model-Heterogeneous Federated Learning
FedTopo 提出了一种关系级拓扑共享方法,用于模型异构联邦学习。每个客户端从本地原型构建类关系拓扑,并与类统计信息一起上传。服务器以可靠性感知方式聚合这些关系,并将全局拓扑广播给客户端。全局拓扑通过强调拓扑相似的负类来指导本地训练。在三个数据集、八种异构骨干网络上的实验表明,FedTopo 优于现有方法。
Development
- First ReportFedTopo: Relation-Level Topology Sharing for Model-Heterogeneous Federated LearningarXiv cs.AI
- Current Assessment该工作表明,联邦学习在模型异构场景下的知识共享正从参数级向关系级演进,可能推动更多异构设备参与联邦学习。未来可验证信号:是否有主流联邦学习框架(如 TensorFlow Federated、PyTorch FL)集成类似关系拓扑方法。Agent Pulse · analysis
FedTopo 是一种用于模型异构联邦学习的关系级拓扑共享框架。传统联邦学习在异构架构下,由于表示空间不对齐,共享的全局知识(如模型参数、蒸馏预测或类原型)变得不可靠。FedTopo 将全局知识编码为类关系拓扑,捕捉类之间的关系而非特征空间中的位置。每个客户端从本地原型构建关系拓扑并上传,服务器以可靠性感知方式聚合,广播全局拓扑,通过强调拓扑相似的负类来指导本地训练。在三个数据集、八种异构骨干网络上的实验表明,FedTopo 优于现有方法。
FedTopo 的核心创新在于将知识共享从绝对空间(参数、预测、原型)转移到关系空间(类关系拓扑),从而天然适应异构模型。其可靠性感知聚合机制通过降权弱支持关系,增强了全局拓扑的鲁棒性。未来可验证信号:是否有后续工作将关系拓扑扩展到跨模态或跨任务场景。
该工作表明,联邦学习在模型异构场景下的知识共享正从参数级向关系级演进,可能推动更多异构设备参与联邦学习。未来可验证信号:是否有主流联邦学习框架(如 TensorFlow Federated、PyTorch FL)集成类似关系拓扑方法。
对于需要保护数据隐私但模型架构各异的组织(如医院、银行),FedTopo 提供了一种无需统一模型架构即可协作训练的方式,降低了联邦学习的部署门槛。未来可验证信号:是否有企业级联邦学习平台采用类似技术。
FedTopo 为模型异构联邦学习提供了新范式,但实验规模有限(三个数据集)。未来需验证其在更大规模、更复杂异构场景下的有效性。可关注:该方法是否被应用于跨机构医疗或金融数据协作。