MultiGlobeQA: A Multilingual and Globally Diverse Benchmark for Geospatial Reasoning
MultiGlobeQA 是一个多语言地理空间推理基准，包含 46,060 个问答对，覆盖 14 种空间函数族和 15 种答案格式，基于三个知识图谱的执行型 ground truth，通过收入和密度分层抽样覆盖 201 个国家和地区，并提供英语和另外 16 种语言的平行问题。在参数化、推理和智能体设置下，LLM 在网格索引和形状计算任务上表现崩溃，而拓扑关系和方向表现最好。检索和工具使用带来显著提升，但即使提供黄金事实，性能也低于三分之二。
发展脉络
- 首次出现MultiGlobeQA: A Multilingual and Globally Diverse Benchmark for Geospatial ReasoningarXiv cs.CL
- 当前判断该基准的发布表明地理空间推理是 LLM 的一个关键短板，可能影响导航和物流等应用。多语言覆盖和全球多样性强调了评估的公平性和实用性。Agent Pulse · 分析
MultiGlobeQA 是一个新的多语言、全球多样化的地理空间推理基准，旨在评估 LLM 在真实世界实体上的空间关系计算能力。该基准包含 46,060 个问答对，覆盖 14 种空间函数族和 15 种答案格式，基于三个知识图谱的执行型 ground truth，通过收入和密度分层抽样覆盖 201 个国家和地区，并提供英语和另外 16 种语言的平行问题。实验发现，LLM 在网格索引和形状计算任务上表现崩溃，而拓扑关系和方向表现最好。检索和工具使用带来显著提升，但即使提供黄金事实，性能也低于三分之二，表明计算能力而非知识访问是主要瓶颈。
该基准揭示了 LLM 在地理空间推理中的具体弱点：网格索引和形状计算任务表现崩溃，而拓扑关系和方向表现较好。检索和工具使用带来显著提升，但即使提供黄金事实，性能也低于三分之二，表明计算能力而非知识访问是主要瓶颈。这暗示当前模型缺乏几何和拓扑计算能力，可能需要专门的模块或外部工具。
该基准的发布表明地理空间推理是 LLM 的一个关键短板，可能影响导航和物流等应用。多语言覆盖和全球多样性强调了评估的公平性和实用性。
对于依赖地理空间推理的行业（如物流、导航），该基准提供了评估模型能力的工具，有助于选择或开发合适的模型。
未来可能看到更多针对空间推理的模型改进，如专门的几何计算模块或更好的工具集成。该基准可能成为评估 LLM 空间能力的新标准。