Adversarial Fast-Moving Real-World Domains as Test Beds for Benchmarking AI Scientist Capabilities
arXiv 论文 2608.03569v1 提出用对抗性、快速变化的真实世界领域作为 AI 科学家能力的测试平台，并在 F1 和 MTG 两个领域实例化。在 F1 中，最佳模型 GPT-5.2 在 166 个想法中匹配了 40 个真实创新中的 10 个。在 MTG 中，最佳模型的表现未完全匹配 19 个职业巡回赛牌表。
Development
- First ReportAdversarial Fast-Moving Real-World Domains as Test Beds for Benchmarking AI Scientist CapabilitiesarXiv cs.AI
- Current Assessment该基准为 AI 科学家能力的评估提供了新范式，可能影响 AI 研发的评估标准。它强调真实世界对抗性领域的重要性，可能推动 AI 在工程设计、游戏策略等领域的应用。对于 AI 公司，这提供了衡量模型创新能力的更严格方法，可能影响模型研发方向。Agent Pulse · analysis
该论文提出了一种新的基准测试方法，用于评估 AI 科学家在生成新颖想法方面的能力。传统基准依赖合成任务或回顾性目标，可能受先前暴露影响。作者假设复杂、对抗性、快速变化的真实世界领域，其中专家独立产生可观察输出，可以提供实用解决方案。他们在两个领域实例化：F1 赛车设计（针对 2026 赛季）和万智牌（MTG）套牌构建（基于新卡池）。在 F1 中，模型提出 166 个想法，最佳模型 GPT-5.2 匹配了 40 个真实创新中的 10 个。在 MTG 中，最佳模型的表现未完全匹配 19 个职业巡回赛牌表。结果表明模型能产生看似合理的输出，但很少与真实专家解决方案一致。
该基准利用真实世界专家输出作为 ground truth，避免了合成任务的局限。F1 领域要求模型提出 2026 赛季的赛车设计概念，并与真实季前创新对比；MTG 领域要求模型从新卡池构建套牌，并与职业巡回赛牌表对比。这种设计能评估推理、新颖性和假设形成能力。当前模型在匹配专家解决方案上表现有限，表明在快速变化领域生成真正新颖且有效的想法仍是挑战。
该基准为 AI 科学家能力的评估提供了新范式，可能影响 AI 研发的评估标准。它强调真实世界对抗性领域的重要性，可能推动 AI 在工程设计、游戏策略等领域的应用。对于 AI 公司，这提供了衡量模型创新能力的更严格方法，可能影响模型研发方向。
该基准可帮助 AI 公司评估模型在真实世界创新任务中的表现，指导研发投资。对于依赖创新能力的行业（如汽车设计、游戏开发），该基准可能成为模型选型的参考。但当前模型表现有限，商业应用尚需提升。
未来可扩展该框架到更多快速变化领域，如药物设计、材料科学等。随着模型能力提升，匹配率可能提高。可验证的下一信号是：后续研究是否采用类似真实世界基准，以及模型在 F1 或 MTG 上的匹配率是否显著提升。