CHARM: A Multimodal Graph Foundation Model with Hierarchical Context Modeling for Zero-Shot Transfer
CHARM 是一种多模态图基础模型,通过层次化上下文建模实现零样本迁移。该模型在多个图数据集上进行了零样本迁移实验,包括 Arxiv、PubMed、Cora、Citeseer、Wiki、Instagram、Yelp、Goodreads 等,涵盖文本、图像等多模态节点。实验结果显示,CHARM 在零样本迁移任务中优于现有基线方法。
发展脉络
- 首次出现CHARM: A Multimodal Graph Foundation Model with Hierarchical Context Modeling for Zero-Shot TransferarXiv cs.AI
- 当前判断该工作填补了多模态图零样本迁移的空白,表明图基础模型正从单模态向多模态演进,且零样本能力成为关键竞争维度。未来更多研究将聚焦于跨模态对齐与领域无关表示学习。Agent Pulse · 分析
CHARM 是一种多模态图基础模型,通过层次化上下文建模实现零样本迁移。该模型在多个图数据集上进行了零样本迁移实验,包括 Arxiv、PubMed、Cora、Citeseer、Wiki、Instagram、Yelp、Goodreads 等,涵盖文本、图像等多模态节点。实验结果显示,CHARM 在零样本迁移任务中优于现有基线方法。
CHARM 通过层次化上下文建模,将节点局部结构、全局图上下文以及多模态特征(文本、图像)进行融合,从而在零样本迁移场景下有效泛化。其核心创新在于解耦领域特定与跨领域共享的表示,避免目标域微调。
该工作填补了多模态图零样本迁移的空白,表明图基础模型正从单模态向多模态演进,且零样本能力成为关键竞争维度。未来更多研究将聚焦于跨模态对齐与领域无关表示学习。
对于依赖图数据的业务(如推荐系统、知识图谱),CHARM 降低了新领域适配成本,无需标注即可迁移模型,加速产品落地。
可验证的下一信号:CHARM 在更大规模多模态图(如电商、社交网络)上的零样本迁移结果,以及是否有后续工作将其扩展至动态图或时序场景。