Visual Credit Audit for Multimodal Spatial Reasoning
Visual Credit Audit (VCA) 是一种无需训练和标签的审计方法，用于评估多模态大语言模型 (MLLM) 在空间推理基准中是否真正依赖图像证据。在四个开源 MLLM 和两个空间基准上，12.73-26.25% 的正确决策未获得图像信用。
Development
- First ReportVisual Credit Audit for Multimodal Spatial ReasoningarXiv cs.AI
- Current Assessment该研究揭示了当前多模态空间推理基准的局限性：许多正确决策可能并非基于视觉证据，而是来自文本先验或捷径。这提示 AI 社区需要更严格的评估方法，以确保模型真正具备多模态理解能力。Agent Pulse · analysis
Visual Credit Audit (VCA) 是一种用于多模态空间推理的审计方法，旨在区分模型决策是否真正依赖图像证据。通过对比图像、纯文本和空白对照，VCA 可以无训练、无标签地评估图像对模型决策的支持程度。在四个开源 MLLM 和两个空间基准上，12.73-26.25% 的正确决策未获得图像信用，表明模型可能依赖捷径或文本先验。
VCA 通过分离两个估计量来工作：一是图像是否比纯文本和空白对照提供更多支持，二是模型是否响应特定关系的视觉证据。该方法无需训练或标签，且不要求答案翻转。应用标签后得到依赖信用正确率 (D-CC)，在正确项上等于相同对照的金标准对齐正增益。匹配的同分割图像置换使 D-CC 降低 21.25-47.80 个百分点，所有配对 95% 区间均高于零。固定像素关系对比和 3x3 证据来源因子分析表明，空对照无法识别关系响应。
该研究揭示了当前多模态空间推理基准的局限性：许多正确决策可能并非基于视觉证据，而是来自文本先验或捷径。这提示 AI 社区需要更严格的评估方法，以确保模型真正具备多模态理解能力。
对于开发多模态 AI 产品的公司，VCA 提供了一种低成本、无需标注的评估手段，可帮助识别模型是否真正利用了视觉输入，从而避免在关键应用（如自动驾驶、医疗影像）中因模型依赖虚假相关性而导致的失败。
VCA 方法可推广到其他多模态任务，如视觉问答和图像描述。未来可能出现更精细的审计工具，用于诊断模型依赖的视觉线索，并指导训练数据收集和模型改进。