When Absence Is Evidence: Evaluating Completeness-Sensitive Negative Reasoning in Large Language Models
CROWN-QA 基准引入，包含 CROWN-Synth 和 CROWN-Real，评估 LLM 在完整性敏感负向推理中的表现。三个 LLM 家族在闭合判断上不稳定，存在过度闭合，无法可靠区分有根据的否定答案与证据不足。
发展脉络
- 首次出现When Absence Is Evidence: Evaluating Completeness-Sensitive Negative Reasoning in Large Language ModelsarXiv cs.CL
- 当前判断该基准为评估 LLM 在检索增强生成等场景中的可靠性提供了新工具。在需要基于不完整信息做出判断的应用中，模型的过度闭合可能导致错误结论。这提示行业在部署 LLM 时需关注其否定推理能力，并可能推动开发更稳健的推理策略。Agent Pulse · 分析
CROWN-QA 基准评估了 LLM 在完整性敏感负向推理中的能力，即模型在回答否定问题时需判断证据是否完整覆盖查询范围。CROWN-Synth 是受控配对核心，固定问题和观察事实，仅变化查询相对覆盖；CROWN-Real 是真实文档对比集。三个 LLM 家族表现出不稳定的闭合判断和显著的过度闭合，无法可靠区分有根据的否定答案（Certified-Negative）与证据不足（Unknown）。主要失败模式是不对称：模型常识别隐含完整证据，却将隐含部分证据视为查询覆盖。提示工程在过度闭合和欠闭合之间重新分配错误，而非一致解决。结构化证书引出将许多错误追溯到证据覆盖误表征。CROWN-Real 显示核心部分覆盖不对称性持续存在。
该研究揭示了 LLM 在负向推理中的关键缺陷：模型对证据覆盖范围的判断不稳定，倾向于过度闭合，即当证据不完整时仍给出否定答案。这种不对称性表明模型可能依赖表面线索而非真正的覆盖推理。结构化证书引出方法有助于定位错误，但提示工程无法根本解决。未来可探索训练目标或架构改进以增强覆盖敏感性。
该基准为评估 LLM 在检索增强生成等场景中的可靠性提供了新工具。在需要基于不完整信息做出判断的应用中，模型的过度闭合可能导致错误结论。这提示行业在部署 LLM 时需关注其否定推理能力，并可能推动开发更稳健的推理策略。
对于依赖 LLM 进行信息检索和问答的企业，该研究指出了潜在风险：模型可能在证据不足时给出错误否定。这影响产品可靠性，可能增加人工审核成本。采用该基准进行模型选型或开发缓解措施可降低风险。
后续可观察是否有模型通过训练或提示改进在 CROWN-QA 上的表现，以及该基准是否被广泛采用。若模型能可靠区分证据不足与否定答案，将提升其在法律、医疗等领域的可信度。