The Illusion of Visual Tool-Use: A Causal Audit of Thinking with Images
arXiv 论文《The Illusion of Visual Tool-Use: A Causal Audit of Thinking with Images》提出将视觉工具使用建模为因果图，区分观察介导路径与动作诱导捷径，并通过策略、轨迹、步骤三层干预进行审计。步骤级估计量 Visual Evidence Gain 用于隔离每个返回观察的贡献。在六个代表性模型和五个细粒度感知基准上，发现策略校准不良的两种失败模式：Calling Without Looking（返回观察对答案无因果效应）和 Looking Without Planning（观察…）。
发展脉络
- 首次出现The Illusion of Visual Tool-Use: A Causal Audit of Thinking with ImagesHugging Face Daily Papers
- 行业反馈The Illusion of Visual Tool-Use: A Causal Audit of Thinking with ImagesarXiv cs.AI
- 当前判断该研究揭示视觉工具使用可能只是表面现象，模型调用工具但未真正利用视觉信息。这对依赖多模态工具的产品设计提出警示：增加工具调用不一定提升性能，反而增加成本。评估工具使用效果需关注因果效应而非表面行为。Agent Pulse · 分析
该论文质疑多模态大模型主动视觉操作（如裁剪缩放）的有效性，发现这些操作相比直接推理常只有边际或负收益，且 token 成本更高。作者将视觉工具使用形式化为因果图，通过三层干预审计视觉证据是否真正影响答案。步骤级估计量 Visual Evidence Gain 隔离每个观察的贡献。在六个模型和五个基准上发现两种失败模式：Calling Without Looking 中观察无因果效应，Looking Without Planning 中观察…。
论文引入因果干预框架审计视觉工具使用，区分观察介导路径与动作诱导捷径。步骤级估计量 Visual Evidence Gain 可量化单个观察对答案的因果贡献。策略层比较工具使用与直接推理，轨迹层破坏所有观察，步骤层在固定前缀下反事实替换单个观察。这种三层审计方法为评估多模态模型工具使用提供了新范式。
该研究揭示视觉工具使用可能只是表面现象，模型调用工具但未真正利用视觉信息。这对依赖多模态工具的产品设计提出警示：增加工具调用不一定提升性能，反而增加成本。评估工具使用效果需关注因果效应而非表面行为。
对多模态 AI 产品团队，该研究提示需谨慎评估工具调用的实际价值，避免为表面功能付出高 token 成本。因果审计方法可用于产品上线前的效果验证，优化工具使用策略以提升性价比。
后续研究可能扩展因果审计到更多模型和任务，开发更有效的工具使用策略，或设计训练方法减少无效调用。Visual Evidence Gain 可能成为评估视觉工具使用的新标准指标。