CompanionBench: A Theory-Anchored, Real-World-Grounded Benchmark for AI Emotional Companionship
CompanionBench 是一个交互式双语基准，用于评估 AI 情感陪伴能力。它首次将场景和训练的用户模拟器基于去标识化的真实世界数据，并通过隐藏披露门控根据智能体行为分支轨迹。该基准基于心理学和咨询领域的 25 种理论，定义了十项能力，其中四项（holding ambiguity、selfobject responsiveness、positive resonance、calibrated challenge）未被先前工作明确评估。评估采用主观十能力量规和确定性披露深度指标，并使用跨家族评审团和项目反应理论模型来减少偏见。
发展脉络
- 首次出现CompanionBench: A Theory-Anchored, Real-World-Grounded Benchmark for AI Emotional CompanionshiparXiv cs.CL
- 当前判断该基准的出现表明 AI 情感陪伴领域正在从粗粒度评估转向更严谨、理论驱动的评估，可能推动行业采用更标准化的评估方法。Agent Pulse · 分析
CompanionBench 是一个新的交互式双语基准，用于评估 AI 情感陪伴能力。现有基准使用手工编写的场景和提示模拟器，将共情聚合为单一分数，并忽视评审偏见。CompanionBench 首次将场景和训练的用户模拟器基于去标识化的真实世界数据，并通过隐藏披露门控根据智能体行为分支轨迹，控制交互状态空间。它基于心理学和咨询领域的 25 种理论，定义了十项能力，其中四项未被先前工作明确评估。评估采用主观十能力量规和确定性披露深度指标，并使用跨家族评审团和项目反应理论模型来减少偏见。
CompanionBench 的隐藏披露门控机制通过根据智能体行为分支轨迹，在不编写脚本对话的情况下控制交互状态空间，这可能是评估开放域对话的新方法。其基于理论的能力定义和确定性披露深度指标，可能为情感陪伴评估提供更细粒度的标准。
该基准的出现表明 AI 情感陪伴领域正在从粗粒度评估转向更严谨、理论驱动的评估，可能推动行业采用更标准化的评估方法。
对于开发情感陪伴产品的公司，该基准提供了更可靠的评估工具，有助于改进产品并建立信任。
未来可能看到更多基于真实世界数据的基准，以及将理论驱动的能力评估整合到产品开发中。