Causal Evidence Extraction and Triangulation in Crisis Reports using Large Language Models: A ReliefWeb-based Study
ReliefWeb 研究（2000-2024）提出两阶段 LLM 流水线，从人道主义报告中提取结构化干预-结果记录，包含方向和强度属性。查询条件提取限制输出到指定干预类别，减少过度提取；片段接地将每个关系链接到支持文本。在 100 份专家标注报告中，最佳闭源 LLM 加权 F1 为 90.73%，Llama-3.1-8B 微调后达 94.15%。提出上下文保留三角测量，在灾害×来源单元格内聚合强度加权证据，应用拉普拉斯平滑，通过证据水平评分量化跨上下文收敛。应用于现金援助，食物相关结果显示强正收敛（LoE=0.865）。
发展脉络
- 首次出现Causal Evidence Extraction and Triangulation in Crisis Reports using Large Language Models: A ReliefWeb-based StudyarXiv cs.CL
- 当前判断该研究展示了 LLM 在人道主义领域自动提取结构化证据的潜力，可能改善危机响应中的决策支持。开源模型微调达到高性能，可能降低部署成本，促进更广泛采用。Agent Pulse · 分析
该研究提出一种两阶段 LLM 流水线，用于从人道主义危机报告中提取因果证据，并引入上下文保留三角测量方法。在 100 份专家标注报告上，微调的 Llama-3.1-8B 达到 94.15% 加权 F1，优于闭源模型，且成本更低。三角测量方法在灾害×来源单元格内聚合证据，使用拉普拉斯平滑和证据水平评分，应用于现金援助时显示食物相关结果强正收敛（LoE=0.865）。
查询条件提取和片段接地是提高因果证据提取准确性和可审计性的关键。微调的小型开源模型（Llama-3.1-8B）在特定任务上可超越闭源模型，表明领域微调的价值。三角测量方法通过聚合和加权证据，提供跨上下文收敛的量化指标，可能适用于其他领域。
该研究展示了 LLM 在人道主义领域自动提取结构化证据的潜力，可能改善危机响应中的决策支持。开源模型微调达到高性能，可能降低部署成本，促进更广泛采用。
对于人道主义组织，该技术可自动化证据综合，提高响应效率。对于 LLM 提供商，微调开源模型的高性能表明垂直领域解决方案的商业机会。
后续可验证信号包括：该方法在其他领域（如公共卫生、灾害管理）的应用，以及证据水平评分作为标准评估指标的采用。