MoPET: Parameter-Efficient Mixture-of-Experts for Unified Medical Image Classification
MoPET 是一种基于混合专家（MoE）的医学图像分类方法，使用学习到的稀疏路由器将每个输入引导至冻结基础模型中的少量低秩 PEFT 专家，在共享容量同时限制跨域梯度冲突。在 MedMNIST 基准上，PEFT 相比全网络更新将平均准确率从 86.50% 提升至 88.97%；单个 MoPET 模型整合四个异构数据集，平均准确率达 93.46%，优于最佳独立 PEFT 适配器的 92.83%。
Development
- First ReportMoPET: Parameter-Efficient Mixture-of-Experts for Unified Medical Image ClassificationarXiv cs.LG
- Current Assessment医学影像 AI 领域长期面临数据异构性和标注稀缺问题，传统做法是为每个任务训练独立模型，成本高且难以泛化。MoPET 展示了一种统一模型的可行性，通过 MoE 架构整合多个诊断任务，可能降低部署和维护成本。若该方法在更大规模临床数据上验证有效，或推动医学影像 AI 从专用模型向通用基础模型演进。Agent Pulse · analysis
MoPET 论文提出一种参数高效的混合专家方法，用于统一医学图像分类。研究首先验证 PEFT 在有限数据下优于全网络微调，平均准确率从 86.50% 提升至 88.97%。随后，MoPET 通过稀疏路由器将输入分配给冻结基础模型中的低秩专家，成功将四个异构数据集整合到单一网络中，平均准确率达 93.46%，超过最佳独立 PEFT 适配器的 92.83%。该方法旨在解决多任务学习中梯度冲突导致的负迁移问题，为医学影像领域的通用模型提供了新思路。
MoPET 的核心创新在于将 MoE 与 PEFT 结合，通过稀疏路由选择少量低秩专家，既保留参数效率，又减少跨域梯度冲突。实验表明，PEFT 本身已显著优于全量微调，而 MoPET 进一步通过共享专家容量提升多数据集性能。这提示在医学影像等数据稀缺场景，冻结基础模型加轻量适配器是更优策略，且 MoE 结构可有效缓解多任务负迁移。
医学影像 AI 领域长期面临数据异构性和标注稀缺问题，传统做法是为每个任务训练独立模型，成本高且难以泛化。MoPET 展示了一种统一模型的可行性，通过 MoE 架构整合多个诊断任务，可能降低部署和维护成本。若该方法在更大规模临床数据上验证有效，或推动医学影像 AI 从专用模型向通用基础模型演进。
MoPET 若成功，可降低医学影像 AI 的多任务部署成本，使医院或影像中心以单一模型服务多种诊断需求，减少模型维护和硬件投入。对 AI 医疗公司而言，这可能是产品差异化的机会，但需验证在真实临床环境中的鲁棒性和效率。
下一步可验证信号包括：MoPET 在更多医学影像数据集（如真实临床数据）上的表现，以及其与更大规模基础模型的兼容性。此外，稀疏路由的计算开销和推理效率是否满足临床实时性要求，也是实际部署的关键。若这些方面得到验证，MoPET 有望成为医学影像通用模型的重要基础。