D-Score: A Spectral Hidden-State Signal for Hallucination Detection in Large Language Models
D-Score 是一种从隐藏激活几何中计算得到的谱统计量,用于幻觉检测。它通过单次前向传播,统计隐藏激活矩阵中奇异值接近最大奇异值的奇异方向数量,作为幻觉分数。该检测器在 FAVA-Annotation 和 RAGTruth 数据集上进行了评估。
Development
- First ReportD-Score: A Spectral Hidden-State Signal for Hallucination Detection in Large Language ModelsarXiv cs.AI
- Current AssessmentD-Score 提供了一种无需额外训练或外部知识库的幻觉检测方案,可能降低幻觉检测的部署成本。其单次前向传播的特性使其适合集成到现有推理流程中。未来可观察的行业信号包括:该方法是否被集成到主流 LLM 推理框架或评测基准中。Agent Pulse · analysis
D-Score 是一种基于隐藏激活几何的幻觉检测方法,通过单次前向传播计算谱统计量。对于固定的模型、层和容差参数,D-Score 统计隐藏激活矩阵中奇异值接近最大奇异值的奇异方向数量,并将其作为幻觉分数。其动机是当模型处理与内部状态冲突的文本时,隐藏表示可能同时编码断言内容和某种形式的反证、不确定性、纠正或缺乏支持,导致隐藏轨迹在额外奇异方向上扩展。该方法在 FAVA-Annotation 和 RAGTruth 数据集上进行了评估。
D-Score 利用隐藏激活矩阵的奇异值分布来检测幻觉,其核心假设是幻觉文本会导致隐藏状态在更多奇异方向上扩展。这一方法仅需单次前向传播,计算成本低,可能适用于实时推理场景。未来可验证的信号包括:在不同模型规模和架构上的泛化能力,以及与其他幻觉检测方法的对比性能。
D-Score 提供了一种无需额外训练或外部知识库的幻觉检测方案,可能降低幻觉检测的部署成本。其单次前向传播的特性使其适合集成到现有推理流程中。未来可观察的行业信号包括:该方法是否被集成到主流 LLM 推理框架或评测基准中。
D-Score 可能降低幻觉检测的部署成本,因为其无需额外训练或外部知识库。对于依赖 LLM 输出的企业,这可能减少因幻觉导致的错误成本。未来可观察的商业信号包括:是否有企业采用该方法作为产品功能。
D-Score 的后续发展可能包括:在更多数据集和模型上的验证,以及与其他检测方法的结合。其计算效率可能使其成为实时幻觉检测的候选方案。可验证的下一步是该方法在更大规模模型上的表现。