Does Forgetting Transfer Across Modalities? A Real-World Benchmark for Cross-Modal Knowledge Unlearning Evaluation
UNLINK-VL 是一个用于视觉语言模型跨模态知识遗忘评估的真实世界基准。它针对视觉可识别的真实世界实体，关联来自 Wikidata 的图像和一跳及多跳事实，包含四个子集，评估直接遗忘、关系知识传播、非目标知识保留和对语义等价查询的鲁棒性。
发展脉络
- 首次出现Does Forgetting Transfer Across Modalities? A Real-World Benchmark for Cross-Modal Knowledge Unlearning EvaluationarXiv cs.AI
- 当前判断该基准的出现反映了 AI 行业对模型记忆敏感或版权内容问题的关注，尤其是在多模态模型日益普及的背景下。跨模态遗忘的评估可能成为模型安全性和合规性的重要组成部分，推动模型开发者在训练和部署中考虑知识移除能力。Agent Pulse · 分析
UNLINK-VL 是一个新的真实世界基准，用于评估视觉语言模型（VLM）中的跨模态知识遗忘。现有研究主要关注单一模态内的遗忘，而跨模态的真实世界知识遗忘研究不足。UNLINK-VL 在事后遗忘设置下，原始遗忘和保留语料不可用，选择视觉可识别的真实世界实体作为遗忘目标，并关联相应的图像和来自 Wikidata 的一跳和多跳事实。基准包含四个互补子集，评估目标知识的直接遗忘、遗忘通过关系知识的传播、相关非目标知识的保留以及对语义等价查询的鲁棒性。模型在仅文本和多模态设置下训练。
该基准的四个子集设计表明，跨模态遗忘评估需要区分直接遗忘、关系传播、非目标保留和查询鲁棒性。这暗示遗忘不是单一操作，而是需要多维度验证。未来可关注 UNLINK-VL 在具体 VLM 上的评测结果，以了解不同模型在跨模态遗忘上的表现差异。
该基准的出现反映了 AI 行业对模型记忆敏感或版权内容问题的关注，尤其是在多模态模型日益普及的背景下。跨模态遗忘的评估可能成为模型安全性和合规性的重要组成部分，推动模型开发者在训练和部署中考虑知识移除能力。
对于构建可信 AI 系统的公司，该基准提供了评估模型遗忘能力的工具，有助于满足版权和隐私合规要求。采用该基准的模型可能获得合规优势，降低法律风险，并增强用户信任。
未来可能出现更多基于 UNLINK-VL 的跨模态遗忘方法研究，以及该基准在商业模型评估中的应用。可关注 UNLINK-VL 是否被主流 VLM 评测采用，以及是否有新的遗忘技术在该基准上取得突破。