What Current AI Benchmarks Leave Unmeasured: Modality, Search, Citations, and Implications (for Safety Evaluations)
arXiv 论文 2608.06202v1 审计了 ChatGPT 聊天界面与 OpenAI API 两种模态，在有无网络搜索条件下，对 BBQ 和 SafetyBench 两个基准的 401 个提示进行三次重复运行，共收集 4,812 个响应。结果显示，在搜索禁用时，聊天界面在两项基准上的准确率均低于 API；启用网络搜索后，准确率下降最多 8 个百分点，并逆转了一个基准的模态性能趋势。
Development
- First ReportWhat Current AI Benchmarks Leave Unmeasured: Modality, Search, Citations, and Implications (for Safety Evaluations)arXiv cs.AI
- Current Assessment该研究揭示当前 AI 评估实践可能高估模型在真实部署中的表现，因为真实场景常涉及搜索和不同模态。安全评估若忽略这些条件，可能产生误导性结论，影响监管和部署决策。行业需标准化评估协议，纳入多模态、搜索和多次运行，以更准确反映模型能力。Agent Pulse · analysis
该研究系统审计了当前 LLM 基准评估中未测量的维度：模态（聊天界面 vs API）、网络搜索、重复运行和引用依据。通过 401 个提示和 4,812 个响应，发现评估结果对评估条件高度敏感。聊天界面在搜索禁用时准确率低于 API，而启用搜索后准确率下降最多 8 个百分点，甚至逆转模态趋势。这质疑了基于单一模态、单次运行和准确率指标的评估结论的可靠性，对模型安全性和部署就绪性的声明有重要影响。
评估条件（模态、搜索、重复运行）对模型性能测量有显著影响，但当前基准报告常忽略这些变量。搜索启用导致准确率下降，可能源于检索内容引入噪声或模型对搜索结果的依赖。模态差异表明 API 与聊天界面在行为上存在不一致，可能因系统提示或后处理不同。重复运行间的变异性提示单次评估的不可靠性。
该研究揭示当前 AI 评估实践可能高估模型在真实部署中的表现，因为真实场景常涉及搜索和不同模态。安全评估若忽略这些条件，可能产生误导性结论，影响监管和部署决策。行业需标准化评估协议，纳入多模态、搜索和多次运行，以更准确反映模型能力。
对于依赖基准评估选择模型的团队，该研究提示需考虑评估条件，否则可能选错模型。模型供应商若忽视这些维度，可能面临安全声明被质疑的风险。标准化评估协议可提升行业信任，但增加评估成本。企业应要求供应商提供多条件评估数据，以降低部署风险。
未来评估基准可能要求报告多模态、搜索启用/禁用和多次运行的性能，并纳入引用依据和弃权行为等指标。模型供应商可能需提供更细粒度的性能数据，监管机构可能制定评估标准。研究者可能开发更鲁棒的评估方法，减少条件敏感性。