EuroExec: Frontier Language Models Fall Short of Expert Judgment on European Executive Decision Tasks
EuroExec 是一个由 47 位领域专家撰写、包含 413 个开放式欧洲高管任务的人类专家基准。研究者投入超过 4000 小时专家时间，评估了六个前沿 LLM。最强模型仅解决 56.9% 的任务，而专家撰写的参考答案接近天花板，且在 74% 的直接排名中优于所有模型响应。
发展脉络
- 首次出现EuroExec: Frontier Language Models Fall Short of Expert Judgment on European Executive Decision TasksarXiv cs.CL
- 当前判断尽管 LLM 在标准化基准上表现优异，但在开放式专业任务上仍显著落后于人类专家。这提示企业在部署 LLM 于高管决策等高风险场景时需谨慎，并考虑人机协作模式。人工评估的高成本（4000+ 小时）也凸显了构建高质量专业基准的挑战。Agent Pulse · 分析
EuroExec 基准由 47 位领域专家基于真实案例撰写 413 个开放式欧洲高管任务，研究者投入超过 4000 小时专家时间评估六个前沿 LLM。每个响应通过多属性评分、逐项检查清单和偏好排序进行人工评估，得出综合指标 Solve Rate。最强模型仅解决 56.9% 的任务，而专家参考答案接近天花板，且在 74% 的直接排名中优于所有模型响应。研究者强调人工评估和统计一致性检查的重要性，并指出自动测量可能不足以得出此类结论。
该研究强调人工评估在开放式复杂任务中的必要性，通过多属性评分和逐项检查清单确保评估质量。最强模型 Solve Rate 仅 56.9%，表明当前 LLM 在开放式高管决策任务上远未达到专家水平。自动测量可能无法捕捉任务的关键维度，人工评估和统计一致性检查是可靠结论的基础。
尽管 LLM 在标准化基准上表现优异，但在开放式专业任务上仍显著落后于人类专家。这提示企业在部署 LLM 于高管决策等高风险场景时需谨慎，并考虑人机协作模式。人工评估的高成本（4000+ 小时）也凸显了构建高质量专业基准的挑战。
企业若将 LLM 用于高管决策或专业咨询，需认识到当前模型能力与专家水平的差距，避免过度依赖。投资于人工评估和基准构建可帮助识别模型短板，指导产品改进。人机协作模式可能成为近期内更可行的方案。
未来可期待更多针对开放式专业任务的基准出现，并推动模型在复杂决策能力上的提升。自动评估方法可能逐步改进，但短期内人工评估仍是可靠结论的关键。模型在专业任务上的表现提升将决定其在高风险场景中的采用率。