DiagChain: A Diagnostic Benchmark for Evaluating LLM Agents on Evidence-Grounded Attack Chain Reconstruction
DiagChain 是一个用于评估 LLM 智能体在证据驱动的攻击链重建任务上的诊断基准。它包含 MAIN-69，即 69 个涵盖多种操作系统、证据噪声水平和链长度的场景。DiagChain 引入了证据中心检索增强生成（ECRAG），将证据检索与重建链的演化结构化表示相结合。提出了五个互补指标来评估重建过程的不同阶段。基于 6 个 LLM 的评估显示，即使最强的配置在 MAIN-69 的 849 个参考步骤中也仅成功 39.6%。分析还表明，较小的模型在更基本的任务上存在困难。
发展脉络
- 首次出现DiagChain: A Diagnostic Benchmark for Evaluating LLM Agents on Evidence-Grounded Attack Chain ReconstructionarXiv cs.AI
- 当前判断该基准填补了 LLM 智能体在安全领域评估的空白，特别是攻击链重建这一关键任务。现有基准的局限性（仅评估最终输出）被指出，DiagChain 提供了更细粒度的诊断工具。这可能会推动安全领域 LLM 智能体的发展，并影响相关工具和产品的评估标准。Agent Pulse · 分析
DiagChain 是一个新的诊断基准，用于评估 LLM 智能体在证据驱动的攻击链重建上的表现。现有基准主要评估最终输出或聚合准确率，对中间推理阶段的错误产生和传播提供有限洞察。DiagChain 通过 MAIN-69（69 个场景）实现分阶段评估，并引入 ECRAG 方法，将证据检索与重建链的演化结构化表示相结合。五个互补指标用于评估重建过程的不同阶段，支持系统性失败诊断。基于 6 个 LLM 的评估显示，最强配置在 849 个参考步骤中仅成功 39.6%，表明该任务具有挑战性。分析还显示，较小的模型在更基本的任务上存在困难。
DiagChain 的贡献在于提供分阶段评估，而非仅关注最终输出。ECRAG 方法将证据检索与演化中的链表示耦合，可能有助于减少错误传播。五个指标覆盖重建的不同阶段，使失败诊断更系统化。评估结果（最强配置仅 39.6% 成功率）表明，当前 LLM 在攻击链重建上仍有显著提升空间，尤其是在证据噪声和链长度变化时。
该基准填补了 LLM 智能体在安全领域评估的空白，特别是攻击链重建这一关键任务。现有基准的局限性（仅评估最终输出）被指出，DiagChain 提供了更细粒度的诊断工具。这可能会推动安全领域 LLM 智能体的发展，并影响相关工具和产品的评估标准。
对于安全行业，DiagChain 提供了一个评估 LLM 智能体在攻击链重建上能力的工具，有助于选择或开发更有效的安全智能体。它可能影响安全产品的研发方向，并推动更可靠的自动化威胁分析工具的出现。
未来，DiagChain 可能被扩展以涵盖更多场景和模型，并可能成为安全领域 LLM 智能体评估的标准之一。ECRAG 方法可能被进一步优化，以提高重建成功率。随着模型能力的提升，该基准的分数可能成为衡量进展的指标。