VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation
VAD（Visual Attribution Distillation）是一种反事实目标重建算法，用于多模态在线策略蒸馏（OPD）。它通过在同一教师模型上分别呈现和移除相关视觉证据，计算中心化对数概率的变化，得到视觉证据方向的代理变量 ut，并将原始修正投影到该代理上，分离出干预对齐成分和代理无法解释的残差，从而重建以学生为中心的目标。训练时，重建目标提供主要监督信号。
发展脉络
- 首次出现VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy DistillationarXiv cs.CL
- 当前判断该研究针对多模态蒸馏中视觉证据归因的挑战，可能推动更高效、更可解释的多模态模型训练方法。若有效，可降低对特权视图教师的依赖，提升学生模型在视觉-语言任务上的表现，但需更多实验验证。Agent Pulse · 分析
多模态在线策略蒸馏（OPD）通过特权视图教师监督学生生成的轨迹，以传递细粒度视觉知识。然而，其下一词修正混合了视觉信号、语言先验和教师特定效应，难以区分哪些修正由视觉证据支持。VAD 提出反事实目标重建算法，在每一步学生生成前缀上，用同一教师分别在有证据和无证据情况下评估，计算中心化对数概率变化作为视觉证据方向的代理 ut，将原始修正投影到该代理上，得到干预对齐成分和残差，并重建学生锚定目标作为主要监督信号。
VAD 的核心创新在于将教师修正分解为视觉可归因部分和不可解释残差，通过反事实评估（移除证据）估计视觉证据方向，而非仅依赖修正强度或位置。这提供了一种可解释的蒸馏信号，可能减少语言先验和教师特定偏差的干扰，但需验证其在多模态任务上的泛化性和计算开销。
该研究针对多模态蒸馏中视觉证据归因的挑战，可能推动更高效、更可解释的多模态模型训练方法。若有效，可降低对特权视图教师的依赖，提升学生模型在视觉-语言任务上的表现，但需更多实验验证。
对多模态模型训练效率的提升可能降低训练成本，并改善模型在视觉-语言任务上的性能，对相关产品（如视觉问答、多模态助手）有潜在价值，但当前处于研究阶段，商业影响尚不明确。
后续可关注 VAD 在更大规模多模态基准上的表现，以及其计算效率是否适合实际训练流程。若验证有效，可能成为多模态蒸馏的标准组件。