Through the LENS: Local Geometric Decomposition of Vision-Language Model Representations
LENS (Local Explanation of Neighborhood Subspaces) 是一种新的可解释性方法，通过混合因子分析器将视觉-语言模型（VLM）的激活分解为局部低秩高斯邻域。应用于 LLaVA-1.5-7B 和 Qwen3-VL-8B，揭示了深度相关的融合轨迹：LLaVA 在后期层逐步混合模态，而 Qwen3-VL 早期混合、部分重新分离并在输出附近重组。自动多模态标注管道为邻域分配语义描述。向邻域质心插值激活可因果地重定向生成，在大多数条件下优于差均值法和 VL-SAE。
Development
- First ReportThrough the LENS: Local Geometric Decomposition of Vision-Language Model RepresentationsarXiv cs.CL
- Current AssessmentLENS 提供了一种新的 VLM 可解释性方法，可能影响多模态模型的调试和可控性。随着 VLM 在应用中的普及，理解其内部机制变得重要。LENS 的因果干预能力可能用于修正模型行为或引导生成，对模型部署和安全性有潜在价值。Agent Pulse · analysis
LENS 方法通过混合因子分析器将 VLM 激活分解为局部低秩高斯邻域，应用于 LLaVA-1.5-7B 和 Qwen3-VL-8B，揭示了两种模型不同的深度相关融合轨迹：LLaVA 在后期层逐步混合模态，而 Qwen3-VL 早期混合、部分重新分离并在输出附近重组。自动多模态标注管道为邻域分配语义描述。向邻域质心插值激活可因果地重定向生成，在大多数条件下优于差均值法和 VL-SAE，在 LLaVA 视觉到视觉设置中 MFA 达到 5.7 倍效果。
LENS 表明 VLM 表示在局部是低秩的，全局高维但局部低维，这挑战了全局线性方向的可解释性方法。通过混合因子分析器，LENS 能够捕捉模态交互的局部几何结构，并揭示不同模型融合机制的差异。因果干预实验表明，向邻域质心插值可以重定向生成，且优于现有方法，这为模型编辑和可控生成提供了新工具。
LENS 提供了一种新的 VLM 可解释性方法，可能影响多模态模型的调试和可控性。随着 VLM 在应用中的普及，理解其内部机制变得重要。LENS 的因果干预能力可能用于修正模型行为或引导生成，对模型部署和安全性有潜在价值。
LENS 可能为 VLM 的可解释性和可控性提供新方法，对依赖多模态模型的业务有潜在价值，如内容生成、视觉问答等。通过更好的干预能力，企业可能更有效地调整模型行为，减少错误输出，提升产品可靠性。
未来可验证的信号包括：LENS 是否被扩展到更大规模的 VLM 或其他模态；其因果干预方法是否被用于实际的可控生成或模型编辑；以及是否出现基于 LENS 的工具或库。