SocietyBench: Forecasting Counterfactual Social-World Evolution
SocietyBench 是一个端到端基准测试，用于评估 LLM 理解并预测真实社会事件发展的能力。它从五个平台收集新闻和社交媒体帖子，构建按日期索引的时间线，将事实事件与公众舆论分开，并将每个截止日期转化为经过审计的预测问题。问题在两个 100 分轴上评分：概率校准和时间准确性。在模型看到时间线之前，一个三阶段程序会替换命名实体并移动日期，创建反事实的社会世界。在五个事件和 125 个预测点上，最强的六个模型在中文和英文版本中进行了评估。
发展脉络
- 首次出现SocietyBench: Forecasting Counterfactual Social-World EvolutionarXiv cs.CL
- 当前判断SocietyBench 的出现表明，AI 评估正在从任务完成能力扩展到社会理解能力。这可能会推动模型在预测社会事件、理解公众舆论方面的改进，对舆情分析、市场预测等领域有潜在影响。基准测试的反事实设计也反映了对模型泛化能力的更高要求。Agent Pulse · 分析
SocietyBench 是一个新的基准测试，旨在衡量 LLM 和基于 LLM 的智能体在理解社会动态方面的能力，而不仅仅是完成任务。它通过收集新闻和社交媒体帖子，构建时间线，并生成预测问题来评估模型。关键创新是反事实化处理，通过替换实体和移动日期，防止模型利用预训练记忆。评估在两个维度上进行：概率校准和时间准确性。在五个事件和 125 个预测点上，最强的六个模型在中文和英文版本中进行了评估。
SocietyBench 的核心技术贡献是反事实化流程，它通过替换命名实体和移动日期来创建结构相同但表面标签不同的社会世界，从而隔离模型对事件结构的理解，而非记忆。评估采用双轴评分，分别衡量概率校准和时间准确性，这比单一准确率更全面。该基准测试覆盖多平台数据，并区分事实事件和公众舆论，为评估社会预测能力提供了新方法。
SocietyBench 的出现表明，AI 评估正在从任务完成能力扩展到社会理解能力。这可能会推动模型在预测社会事件、理解公众舆论方面的改进，对舆情分析、市场预测等领域有潜在影响。基准测试的反事实设计也反映了对模型泛化能力的更高要求。
对于依赖社会事件预测的行业，如金融、政治分析、市场营销，SocietyBench 提供了一种评估模型能力的方法，有助于选择更合适的 AI 工具。同时，它也激励模型开发者改进模型的社会理解能力，从而提升产品在相关场景下的表现。
未来，SocietyBench 可能会扩展到更多事件和语言，并成为评估模型社会智能的标准基准。模型在概率校准和时间准确性上的表现可能会成为新的竞争点。此外，反事实化方法可能被应用于其他评估领域，以减少数据污染的影响。