STRIVE: Probing Reasoning Limits in Graded Plausibility Generation and Evaluation
STRIVE 是一个基于 LLM 的框架，用于生成和评估受控事件集，这些事件集在合理性类别（合理 vs 不合理）和预期分类难度（简单 vs 难）上有所不同。在涉及 60 个动词的六个模型的实验中，使用基线提示时，GPT-5.1 仅 16.7% 的时间生成高质量集合；添加全局推理 scratchpad 和评估器引导的细化后，这一比例提高到 75.0%。更大的推理努力也改善了评估器与人类的一致性。然而，接近合理性边界的事件仍然最困难，引发最大的人类分歧。
发展脉络
- 首次出现STRIVE: Probing Reasoning Limits in Graded Plausibility Generation and EvaluationarXiv cs.CL
- 当前判断STRIVE 的发布反映了 AI 行业对评估和生成受控数据集的持续关注，特别是在心理语言学领域。这可能会推动更多研究关注 LLM 在细粒度语义任务上的能力，并促进评估方法的改进。Agent Pulse · 分析
STRIVE 是一个基于 LLM 的框架，用于生成和评估受控事件集，这些事件集在合理性类别（合理 vs 不合理）和预期分类难度（简单 vs 难）上有所不同。在涉及 60 个动词的六个模型的实验中，使用基线提示时，GPT-5.1 仅 16.7% 的时间生成高质量集合；添加全局推理 scratchpad 和评估器引导的细化后，这一比例提高到 75.0%。更大的推理努力也改善了评估器与人类的一致性。然而，接近合理性边界的事件仍然最困难，引发最大的人类分歧。
STRIVE 表明，通过全局推理 scratchpad 和评估器引导的细化，可以显著提高 LLM 生成受控事件集的质量，从 16.7% 提升到 75.0%。这表明推理努力对于生成需要精细控制的任务至关重要。然而，接近合理性边界的事件仍然难以处理，表明当前模型在细粒度语义判断上仍有局限。
STRIVE 的发布反映了 AI 行业对评估和生成受控数据集的持续关注，特别是在心理语言学领域。这可能会推动更多研究关注 LLM 在细粒度语义任务上的能力，并促进评估方法的改进。
STRIVE 框架可能对需要生成受控测试集的公司有价值，例如在 NLP 模型评估或心理语言学研究中。它可以帮助自动化数据生成过程，减少人工劳动，并提高数据质量。
未来，可以预期更多研究将探索如何提高 LLM 在边界情况下的表现，例如通过更精细的推理或新的训练方法。此外，STRIVE 框架可能被扩展到其他领域，如常识推理或对话系统。