Diagnosing Search Behavior and Failure Modes in Long-Horizon Search Agents
arXiv 论文 2608.01913v1 对长时程搜索 Agent 进行轨迹级诊断，使用人工标注的文档级相关性判断评估每一步检索的证据，将 Agent 行为分为检索证据和利用证据两个阶段，并将失败分解为检索缺口（必要证据未找到）和利用缺口（相关证据已检索但未正确使用）。在固定检索模型和评估框架下，比较六个 Agent 在 BrowseComp-Plus 上的表现，并在 BrowseComp 上用开放网络搜索 API 验证。发现搜索努力与答案质量仅弱相关，答案准确率与检索证据质量（尤其是累积检索召回率）的相关性高于搜索次数或上下文消耗量。
Development
- First ReportDiagnosing Search Behavior and Failure Modes in Long-Horizon Search AgentsarXiv cs.CL
- Current Assessment该研究为搜索 Agent 的性能优化提供了实证依据，可能影响 Agent 产品的设计思路。当前行业普遍通过增加搜索轮次或扩大上下文来提升答案质量，但该研究表明这些努力与答案质量仅弱相关，而证据质量才是关键。这可能导致 Agent 开发者重新分配资源，从增加搜索预算转向改进检索相关性或证据利用机制。可验证的下一信号：主流 Agent 产品（如 Perplexity、OpenAI Deep Research）是否会调整其搜索策略，例如引入更精细的检索相关性反馈或证据利用模块。Agent Pulse · analysis
这篇 arXiv 论文对长时程搜索 Agent 的行为进行了系统诊断。作者使用人工标注的文档级相关性判断，在每一步检索后评估证据质量，从而将 Agent 行为拆分为两个阶段：检索证据和利用证据。这种拆分使得失败可以被分解为检索缺口（必要证据从未被找到）和利用缺口（相关证据被检索到但未被正确使用）。在固定检索模型和评估框架的条件下，作者比较了六个 Agent 在 BrowseComp-Plus 上的表现，并在 BrowseComp 上使用开放网络搜索 API 进一步验证。研究发现，搜索努力（如搜索次数）与答案质量之间仅存在弱相关；相反，答案准确率与检索到的证据质量（尤其是累积检索召回率）的相关性更强。这表明，提升搜索 Agent 性能的关键可能不在于增加搜索次数，而在于提高检索证据的覆盖率和利用效率。
该研究将搜索 Agent 的失败分解为检索缺口和利用缺口，为调试长时程 Agent 提供了可操作的诊断框架。技术上的关键发现是：累积检索召回率比搜索次数或上下文消耗量更能预测答案准确率。这意味着，在设计搜索 Agent 时，应优先优化检索策略以提高证据覆盖率，而非盲目增加搜索轮次。此外，利用缺口的识别提示，即使检索到相关证据，模型也可能无法正确整合，这指向了推理或上下文利用能力的改进方向。可验证的下一信号：后续工作是否会基于该诊断框架提出针对检索缺口或利用缺口的改进方法，并在 BrowseComp 类基准上取得显著提升。
该研究为搜索 Agent 的性能优化提供了实证依据，可能影响 Agent 产品的设计思路。当前行业普遍通过增加搜索轮次或扩大上下文来提升答案质量，但该研究表明这些努力与答案质量仅弱相关，而证据质量才是关键。这可能导致 Agent 开发者重新分配资源，从增加搜索预算转向改进检索相关性或证据利用机制。可验证的下一信号：主流 Agent 产品（如 Perplexity、OpenAI Deep Research）是否会调整其搜索策略，例如引入更精细的检索相关性反馈或证据利用模块。
对于构建搜索 Agent 或依赖信息检索的 AI 产品，该研究提供了性能优化的方向：提升证据检索质量比增加搜索次数更有效。这可以降低推理成本（减少不必要的搜索）并提高答案准确性，从而提升产品竞争力。企业可据此调整 Agent 的评估指标，从关注搜索次数转向关注证据召回率。可验证的下一信号：相关产品是否会公开其检索质量指标，或采用类似诊断方法进行内部评估。
该诊断框架可能成为搜索 Agent 评估的标准方法，推动更细粒度的性能分析。未来研究可能进一步探索如何自动识别检索缺口和利用缺口，并开发针对性的优化算法。此外，随着长时程 Agent 在复杂任务中的应用，这种轨迹级诊断可能扩展到其他工具使用场景。可验证的下一信号：该框架是否会被后续研究引用并扩展，例如应用于多模态搜索或代码生成 Agent。