Learning When to Trust via Selective Context Preference Optimization
MIST 是一个人工标注的基准，包含四种匹配条件下的推理项：干净、误导、正确上下文和无关上下文。SC2W 是一个配对指标，统计误导信号将干净正确答案翻转为错误的频率。SCOPE 是一种方法，它挖掘干净正确/误导错误的失败案例，并在所有四种条件下平衡的匹配偏好对上优化标准 DPO 目标。该方法在流行的开源模型上显著降低了 SC2W，同时保持了在干净、正确或无关上下文下的准确性。
发展脉络
- 首次出现Learning When to Trust via Selective Context Preference OptimizationarXiv cs.AI
- 当前判断该研究揭示了模型对上下文信任的普遍脆弱性，可能影响依赖外部检索或工具输出的应用。未来可观察是否有更多工作关注选择性信任，以及是否出现新的训练范式。Agent Pulse · 分析
论文《Learning When to Trust via Selective Context Preference Optimization》提出，语言模型越来越依赖外部信号，但一个误导性信号可能将正确答案变为错误。简单的对抗训练（让模型忽略所有上下文）会导致模型在上下文可信时无用。作者将问题重构为选择性信任，引入 MIST 基准，在四种条件下渲染推理项，并提出 SC2W 指标量化误导影响。他们发现这种脆弱性普遍存在。提出的 SCOPE 方法挖掘失败案例，并在所有条件下平衡的偏好对上优化 DPO，显著降低 SC2W 同时保持准确性。
SCOPE 的关键在于平衡所有四种条件的偏好对，而非仅误导项，这避免了模型过度忽略上下文。SC2W 指标提供了可量化的评估方式。未来可验证的信号包括：在更大模型上的 SC2W 降低幅度，以及在不同任务上的泛化能力。
该研究揭示了模型对上下文信任的普遍脆弱性，可能影响依赖外部检索或工具输出的应用。未来可观察是否有更多工作关注选择性信任，以及是否出现新的训练范式。
对于构建 RAG 或工具调用系统的公司，该研究提供了提升模型鲁棒性的方法，可能减少因误导上下文导致的错误，提升产品可靠性。
后续可能看到 SCOPE 在更大模型上的应用，以及选择性信任成为模型训练的标准组成部分。可验证的信号包括相关论文的引用和模型在误导场景下的表现提升。