SABRE: Scalable and Automated Benchmarking of VLMs under Stress
SABRE 是一个可扩展、自动化的 VLM 压力测试基准生成流水线，将测试原型转换为结构化规范、生成或编辑的图像以及问答对。它包含 SABRE-Prior 实例，用于测试 VLM 是否遵循视觉证据而非世界先验，包含 600 张图像和 1000 个问题，涵盖上下文、纹理、属性和语言引导。在六个 VLM 上，宏平均准确率范围为 17.8% 至 31.3%（平均 22.6%）。
发展脉络
- 首次出现SABRE: Scalable and Automated Benchmarking of VLMs under StressarXiv cs.AI
- 当前判断SABRE 表明 VLM 基准测试正在向自动化、可扩展方向发展，可能推动更全面的模型评估。其低准确率凸显了 VLM 在反事实或意外场景中的弱点，可能影响依赖视觉推理的应用。Agent Pulse · 分析
SABRE 论文提出了一种可扩展、自动化的基准测试流水线，用于生成视觉语言模型（VLM）的压力测试。该流水线将测试原型（Markdown 任务设计和数据模式）转换为结构化规范、生成或编辑的图像以及问答对。自动化过滤使用过滤 VLM 移除候选，人工审查验证有效性并支持注释纠正和局部图像修复。SABRE-Prior 实例测试 VLM 是否遵循视觉证据而非世界先验，包含 600 张图像和 1000 个问题，涵盖上下文（熟悉场景中的意外实体）、纹理（反事实材料）、属性（非规范组件计数）和语言引导（语言暗示但图像不支持的答案）。在六个 VLM 上，宏平均准确率范围为 17.8% 至 31.3%（平均 22.6%）。真实图像属性控制难度相当。
SABRE 的自动化流水线可能降低构建压力测试的成本，使基准测试能够跟上模型改进的步伐。其过滤机制使用过滤 VLM 移除简单候选，人工审查确保质量。SABRE-Prior 的结果表明，当前 VLM 在对抗世界先验时表现不佳，平均准确率仅 22.6%，表明模型可能过度依赖先验而非视觉证据。
SABRE 表明 VLM 基准测试正在向自动化、可扩展方向发展，可能推动更全面的模型评估。其低准确率凸显了 VLM 在反事实或意外场景中的弱点，可能影响依赖视觉推理的应用。
对于构建 VLM 应用的企业，SABRE 提供了一种识别模型弱点的方法，有助于选择更可靠的模型或改进训练数据。其自动化特性可能降低评估成本，加速模型迭代。
后续可观察 SABRE 流水线是否被更广泛采用，以及其压力测试是否揭示模型改进。可验证信号包括：SABRE 基准被其他研究引用，或模型在 SABRE-Prior 上的准确率提升。