CalibratedRubric: Task-Adaptive Rubric Banks for Open-Ended LLM Evaluation
CalibratedRubric 是一个任务自适应框架，结合类型特定评分、贝叶斯可测量性过滤和基于项目反应理论的题库组装。在 JudgmentBench 上，可测量性过滤将人类-黄金一致性从 κ=0.604 提升到 0.743。在 FinResearchBench 上，基于 IRT 的贪心选择达到目标相关性仅需 49 个评分标准，而随机选择需要 131 个。
发展脉络
- 首次出现CalibratedRubric: Task-Adaptive Rubric Banks for Open-Ended LLM EvaluationarXiv cs.AI
- 当前判断该研究针对开放式 LLM 评估的可靠性问题，提出自动化构建评分标准库的方法。这可能影响 LLM 评估工具和基准测试的设计，推动更高效、更可靠的评估流程。Agent Pulse · 分析
CalibratedRubric 提出了一种用于开放式 LLM 评估的任务自适应评分标准库构建方法。现有自动化流程依赖严格的评判一致性和二元方差过滤，无法区分可测量和 informative 的评分标准。该框架结合类型特定评分、贝叶斯可测量性过滤和 IRT 库组装，在金融、医疗、通用和法律基准上验证。在 JudgmentBench 上，可测量性过滤将人类-黄金一致性从 κ=0.604 提升到 0.743。在 FinResearchBench 决策支持任务上，IRT 贪心选择达到目标相关性仅需 49 个评分标准，而随机选择需要 131 个。任务标签扰动进一步减少系统分离，表明实际相关性。
CalibratedRubric 的核心创新在于使用 Beta-Bernoulli 后验估计每个评分标准的可测量性，并通过子模信息覆盖目标构建紧凑题库。这种方法在保持评估质量的同时显著减少所需评分标准数量，可能降低人工成本。
该研究针对开放式 LLM 评估的可靠性问题，提出自动化构建评分标准库的方法。这可能影响 LLM 评估工具和基准测试的设计，推动更高效、更可靠的评估流程。
对于提供 LLM 评估服务的公司，CalibratedRubric 可以降低人工设计评分标准的成本，提高评估效率，从而提升产品竞争力。
未来可能看到 CalibratedRubric 被集成到评估平台中，或扩展到更多领域。可验证的信号包括在更多基准上的应用或开源实现。