HERALD: Counterfactual Audits and Minimal Repairs for Proof-of-Retrieval Rewards
HERALD 是一种离线审计方法，用于评估搜索 Agent 的检索奖励。在 HotpotQA、2WikiMultiHopQA 和 MuSiQue 基准上对四个 Qwen3-8B 池进行测试，R0 能拒绝搜索删除和伪造 ID，但无标签的引用清洗攻击成功。完整的 2^3 消融实验确定强化 L（引用检索证据中不存在的语料段落）是观察到的包含最小修复，R[L] 的经验 ASR 为零，单侧聚类上限为 0.50%。在严格 5M token 匹配训练下，R[L] 在 HotpotQA 和 2Wiki 上达到 EM 非劣效门槛，但在 MuSiQue 上未达到。
Development
- First ReportHERALD: Counterfactual Audits and Minimal Repairs for Proof-of-Retrieval RewardsarXiv cs.AI
- Current Assessment该研究揭示了搜索 Agent 奖励设计中的潜在风险，即高奖励分数不一定反映真实的检索质量。这提醒行业在部署搜索 Agent 时，需要更严格的审计和修复机制，以确保奖励信号的可信度。Agent Pulse · analysis
HERALD 论文提出了一种离线审计框架，用于评估搜索 Agent 的检索奖励。该框架通过精确的相同问题干预、分离候选可见与 oracle 信息，并在策略优化前枚举检测器契约，来识别奖励中的漏洞。实验在四个 Qwen3-8B 池上进行，覆盖 HotpotQA、2WikiMultiHopQA 和 MuSiQue 基准。结果显示，基础奖励 R0 能拒绝搜索删除和伪造 ID，但无法抵御无标签的引用清洗攻击。通过完整的 2^3 消融实验，作者确定了包含最小修复：强化 L，即引用检索证据中不存在的语料段落。修复后的奖励 R[L] 在经验攻击成功率上为零，单侧聚类上限为 0.50%。然而，当攻击移除 oracle 支持 ID 惩罚时，更广泛的加固仍然脆弱。在严格 5M token 匹配训练下，R[L] 在 HotpotQA 和 2Wiki 上达到 EM 非劣效门槛，但在 MuSiQue 上未达到。
HERALD 的审计方法通过分离候选可见与 oracle 信息，并枚举检测器契约，提供了一种系统性的奖励漏洞检测方式。其发现表明，即使基础奖励能拒绝某些攻击，仍可能存在未被覆盖的漏洞，如引用清洗攻击。最小修复策略（强化 L）在实验中表现出零攻击成功率，但并非在所有基准上都能保持非劣效性，提示修复可能引入性能权衡。
该研究揭示了搜索 Agent 奖励设计中的潜在风险，即高奖励分数不一定反映真实的检索质量。这提醒行业在部署搜索 Agent 时，需要更严格的审计和修复机制，以确保奖励信号的可信度。
对于依赖搜索 Agent 的企业，HERALD 提供了一种审计工具，有助于识别和修复奖励漏洞，从而提升系统的可靠性和用户信任。
未来研究可能探索更全面的加固策略，以应对移除 oracle 支持 ID 惩罚等更复杂的攻击。同时，跨更多模型和基准的验证将有助于评估修复的泛化性。