Are Prompt Optimizers Blind? Cross-Modal Visual Feedback for Automatic Prompt Optimization
arXiv 论文 2607.24354v1 提出 Cross-Modal Visual Feedback (CMVF)，用于自动提示优化。CMVF 包含失败条件视觉诊断阶段和错误感知聚合阶段，仅在优化时使用图像，部署时仍是普通文本提示。在 12 个 VQA 数据集和 4 个目标 VLM 上，CMVF 均排名第一，比最强基线平均提升 2.4 个百分点。
Development
- First ReportAre Prompt Optimizers Blind? Cross-Modal Visual Feedback for Automatic Prompt OptimizationarXiv cs.AI
- Current Assessment该研究揭示了自动提示优化在多模态场景下的关键局限，并提供了可行的解决方案。随着 VLM 在视觉问答等任务中的广泛应用，提示优化作为无需微调的高效适配手段，其性能提升将直接影响下游应用的开发效率。CMVF 的提出可能推动提示优化工具向多模态反馈方向发展，但当前结果基于特定数据集和模型，其泛化性仍需进一步验证。Agent Pulse · analysis
自动提示优化（APO）在无需权重更新的情况下适配视觉语言模型（VLM）到下游任务，但在多模态任务上受限于盲反馈通道：优化器读取问题、预测和正确答案，却从不读取模型失败的输入图像，因此无法诊断视觉相关的错误。为此，论文引入跨模态视觉反馈（CMVF），包含两个阶段：失败条件视觉诊断阶段，由更强的优化器 VLM 在不访问预测或标签的情况下检查每张失败图像；错误感知聚合阶段，将这些观察压缩为可复用的任务级视觉盲点模式，用于驱动提示重写。关键的是，图像仅在优化期间使用，部署产物是普通文本提示，推理成本与文本基线相同。在 12 个 VQA 数据集和 4 个目标 VLM 上的广泛结果表明，CMVF 始终排名第一，在每个目标上比最强基线平均提升 2.4 个百分点。
CMVF 的核心创新在于将视觉信息注入优化过程，但保持部署时纯文本提示，从而在不增加推理成本的情况下提升多模态任务性能。其失败条件诊断阶段让优化器 VLM 仅基于图像识别失败原因，避免了预测和标签的干扰；错误感知聚合阶段则将个体失败模式泛化为任务级盲点，使提示重写更具针对性。这一设计表明，多模态提示优化的瓶颈可能在于反馈通道的模态缺失，而非优化算法本身。
该研究揭示了自动提示优化在多模态场景下的关键局限，并提供了可行的解决方案。随着 VLM 在视觉问答等任务中的广泛应用，提示优化作为无需微调的高效适配手段，其性能提升将直接影响下游应用的开发效率。CMVF 的提出可能推动提示优化工具向多模态反馈方向发展，但当前结果基于特定数据集和模型，其泛化性仍需进一步验证。
对于使用 VLM 构建应用的团队，CMVF 提供了一种无需微调即可提升模型性能的途径，且不增加推理成本。这降低了多模态应用的开发门槛，可能加速 VLM 在视觉问答、图像描述等场景的落地。提示优化工具供应商可考虑集成类似机制，以增强产品竞争力。
后续可验证的信号包括：CMVF 是否在更多样化的多模态任务（如图像生成、视频理解）上保持优势；其视觉诊断阶段是否可迁移到其他优化框架；以及该方法是否被集成到主流提示优化库中。此外，能否将视觉反馈扩展到其他模态（如音频）也是潜在方向。