From Single- to Cross-Document: Benchmarking Multi-Granularity Event Analysis of Large Language Models
MiGUE-Bench 是一个用于评估大语言模型在多粒度事件分析中性能的系统性基准。它引入了 MiGUE-Pipeline，一个由 LLM 驱动的自校正标注框架，用于可扩展地获取高质量事件数据。该基准设计了四个核心任务：事件检测、关系推理、结构归纳和未来预测，以探测模型从原子事件细节到跨文档叙事的能力。实验在先进 LLM 和 RAG 方法上进行，描绘了当前能力。
Development
- First ReportFrom Single- to Cross-Document: Benchmarking Multi-Granularity Event Analysis of Large Language ModelsarXiv cs.CL
- Current Assessment该基准的发布表明事件分析正从单文档任务扩展到跨文档叙事，反映了信息抽取领域对复杂事件理解的需求。MiGUE-Bench 可能成为评估 LLM 事件分析能力的新标准，推动模型在金融、新闻、情报等领域的应用。Agent Pulse · analysis
MiGUE-Bench 是一个新的基准，用于评估大语言模型在多粒度事件分析中的能力。现有基准受限于文档粒度、任务设计和数据来源，无法全面理解 LLM 的事件分析能力。MiGUE-Bench 通过引入 MiGUE-Pipeline（一个 LLM 驱动的自校正标注框架）来支持大规模评估，并设计了四个核心任务：事件检测、关系推理、结构归纳和未来预测，覆盖从原子事件细节到复杂跨文档叙事的多个层次。实验在先进 LLM 和 RAG 方法上进行，描绘了当前能力。
MiGUE-Bench 通过四个任务（事件检测、关系推理、结构归纳、未来预测）系统性地评估 LLM 在多粒度事件分析中的能力，从单文档到跨文档。其 MiGUE-Pipeline 采用 LLM 驱动的自校正标注框架，可能涉及迭代生成和验证，以提高标注质量。该基准可能揭示 LLM 在跨文档事件分析中的薄弱环节，例如长上下文推理和关系推理。
该基准的发布表明事件分析正从单文档任务扩展到跨文档叙事，反映了信息抽取领域对复杂事件理解的需求。MiGUE-Bench 可能成为评估 LLM 事件分析能力的新标准，推动模型在金融、新闻、情报等领域的应用。
MiGUE-Bench 为评估 LLM 在事件分析中的能力提供了标准化工具，有助于企业选择适合的模型用于金融分析、新闻聚合、情报监控等场景。它可能推动模型供应商改进跨文档事件理解能力，从而提升相关产品的价值。
未来，MiGUE-Bench 可能被扩展以覆盖更多语言和领域，并可能催生针对跨文档事件分析的新模型或训练方法。后续工作可能包括改进 RAG 方法以增强事件推理，以及将基准应用于实际场景。