Can Agents Deceive? Evaluating Reasoning and Deception in ParliamentBench using a Social Deduction Game
arXiv 论文 2607.28146v1 提出开源基准框架 ParliamentBench，基于 Secret Hitler 游戏评估 LLM 在欺骗、说服和信息不对称推理中的表现。研究评估了 16 个 LLM 在 1600 场模拟比赛中的表现，包括相互对战、与人类对战，并与大量在线游戏对比。引入了三个新指标来隔离社交推理、推理和欺骗一致性。结果显示前沿模型在合作和欺骗角色上表现强劲，前四名集群为 GPT-5.4、Kimi K2.5、Grok 4.1 Fast 和 DeepSeek 3.1 Terminus，而最弱模型低于随机基线（33%）和简单算法基线（45%）。大多数 LLM 难以在整个游戏中保持一致的欺骗角色，欺骗保留率低于 50%。
发展脉络
- 首次出现Can Agents Deceive? Evaluating Reasoning and Deception in ParliamentBench using a Social Deduction GamearXiv cs.AI
- 当前判断该基准框架为评估 LLM 在欺骗和推理方面的能力提供了标准化方法，可能成为 Agent 安全评估的重要工具。研究结果揭示了前沿模型与较弱模型之间的显著差距，前四名集群表现强劲，而最弱模型低于随机基线，这为模型选择提供了参考。随着 LLM 在医疗、法律等高风险领域的部署，理解其欺骗能力对安全至关重要，该框架可能推动行业采用更严格的评估标准。Agent Pulse · 分析
arXiv 论文 2607.28146v1 提出开源基准框架 ParliamentBench，基于 Secret Hitler 游戏评估 LLM 在欺骗、说服和信息不对称推理中的表现。研究评估了 16 个 LLM 在 1600 场模拟比赛中的表现，包括相互对战、与人类对战，并与大量在线游戏对比。引入了三个新指标来隔离社交推理、推理和欺骗一致性。结果显示前沿模型在合作和欺骗角色上表现强劲，前四名集群为 GPT-5.4、Kimi K2.5、Grok 4.1 Fast 和 DeepSeek 3.1 Terminus，而最弱模型低于随机基线（33%）和简单算法基线（45%）。大多数 LLM 难以在整个游戏中保持一致的欺骗角色，欺骗保留率低于 50%。
ParliamentBench 通过社交推理游戏提供可复现的对抗行为评估，引入三个新指标隔离社交推理、推理和欺骗一致性。实验显示前沿模型在欺骗和合作角色上表现强劲，但大多数模型在长时间游戏中难以保持一致的欺骗角色，欺骗保留率低于 50%。这表明当前 LLM 在需要持续欺骗的场景中存在一致性缺陷，可能影响其在需要长期策略的 Agent 任务中的可靠性。
该基准框架为评估 LLM 在欺骗和推理方面的能力提供了标准化方法，可能成为 Agent 安全评估的重要工具。研究结果揭示了前沿模型与较弱模型之间的显著差距，前四名集群表现强劲，而最弱模型低于随机基线，这为模型选择提供了参考。随着 LLM 在医疗、法律等高风险领域的部署，理解其欺骗能力对安全至关重要，该框架可能推动行业采用更严格的评估标准。
该基准框架为评估 LLM 在欺骗和推理方面的能力提供了标准化方法，可能成为 Agent 安全评估的重要工具。研究结果揭示了前沿模型与较弱模型之间的显著差距，前四名集群表现强劲，而最弱模型低于随机基线，这为模型选择提供了参考。随着 LLM 在医疗、法律等高风险领域的部署，理解其欺骗能力对安全至关重要，该框架可能推动行业采用更严格的评估标准。
未来可验证的信号包括：ParliamentBench 是否被其他研究团队采用作为标准评估工具；是否有更多模型在该基准上被评估并公开结果；以及模型在欺骗一致性上的改进是否与架构或训练方法的变化相关。