HAFI-VLM: A Frequency Perspective for Diagnosing and Enhancing Visual Perception in Vision-Language Models
HAFI-VLM 论文提出，视觉语言模型（VLM）在需要细粒度视觉证据的任务中不可靠，原因是预训练视觉编码器存在谱响应刚性（spectral response rigidity），其层间谱特征在微调后变化很小。论文提出 HAFI-VLM，通过任务条件频率通路（Hierarchical Adaptive Frequency Injection, HAFI）在多个编码器深度检索低、中、高频证据，并使用 Visual Enrichment Layer Adapter 重新校准浅层 LLM 注意力。在 LLaVA-1.5 和 Qwen2.5-VL 上的实验显示，在通用 VQA、文本丰富理解和幻觉鲁棒性方面有一致改进。
发展脉络
- 首次出现HAFI-VLM: A Frequency Perspective for Diagnosing and Enhancing Visual Perception in Vision-Language ModelsarXiv cs.CL
- 当前判断该研究针对 VLM 的细粒度视觉理解问题，提出了基于频率视角的诊断和增强方法，在 LLaVA-1.5 和 Qwen2.5-VL 上验证了有效性。这表明业界对 VLM 可靠性的关注正在从整体能力转向细粒度证据利用，未来可能出现更多针对视觉编码器频率特性的优化方案。Agent Pulse · 分析
HAFI-VLM 论文指出，视觉语言模型在需要细粒度视觉证据的任务中表现不可靠，原因在于预训练视觉编码器的谱响应刚性：尽管图像和任务存在频率变化，编码器的层间谱特征在微调后变化很小，且由于编码器只接收图像，无法根据查询调整谱提取。为此，论文提出 HAFI-VLM，引入任务条件频率通路，通过 Hierarchical Adaptive Frequency Injection (HAFI) 在多个编码器深度使用文本调制、空间对齐的交叉注意力检索互补的低、中、高频证据，并通过 Visual Enrichment Layer Adapter 重新校准浅层 LLM 注意力以利用增强的视觉 token。在 LLaVA-1.5 和 Qwen2.5-VL 上的实验显示，该方法在通用 VQA、文本丰富理解和幻觉鲁棒性方面优于表示级增强方法。
该工作揭示了一个此前被忽视的机制：预训练视觉编码器在微调后仍保持固定的层间谱特征，这限制了 VLM 对细粒度视觉证据的利用。HAFI-VLM 通过任务条件频率通路，在多个编码器深度注入文本调制的频率信息，并配合浅层 LLM 注意力重校准，实现了对视觉 token 的增强利用。这提示我们，视觉编码器的频率响应特性可能是多模态模型性能瓶颈的一个关键因素，值得在架构设计中关注。
该研究针对 VLM 的细粒度视觉理解问题，提出了基于频率视角的诊断和增强方法，在 LLaVA-1.5 和 Qwen2.5-VL 上验证了有效性。这表明业界对 VLM 可靠性的关注正在从整体能力转向细粒度证据利用，未来可能出现更多针对视觉编码器频率特性的优化方案。
对于依赖 VLM 进行细粒度视觉理解的应用（如文档解析、图像问答），HAFI-VLM 提供了提升准确性和减少幻觉的潜在方案，可能降低错误率并改善用户体验。
后续可关注 HAFI-VLM 是否在更多 VLM 架构上复现，以及其频率通路设计是否被其他研究采纳。同时，可观察该方法在真实场景中的细粒度视觉任务（如文档理解、医学影像）上的表现。