Detecting Hallucinations and Recovering Verified Answers in Arabic Islamic Question Answering
论文提出用于阿拉伯语伊斯兰问答的幻觉检测与答案恢复系统，基于微调的 google/gemma-4-12B-it 模型，在 HalluScoring 2026 任务 2.1 上取得 Macro-F1 0.928、标签准确率 0.935、选项准确率 0.895，综合得分 0.912。数据集包含 600 个问答实例，其中 341 个幻觉、259 个非幻觉。
Development
- First ReportDetecting Hallucinations and Recovering Verified Answers in Arabic Islamic Question AnsweringarXiv cs.CL
- Current Assessment该工作展示了针对特定领域（伊斯兰知识）的幻觉检测与答案恢复方案，表明领域定制化微调可提升模型可靠性。在宗教、法律等高风险领域，幻觉检测系统有实际需求。可验证的下一信号：该方案是否被集成到实际问答产品中，或扩展到其他语言和领域。Agent Pulse · analysis
该论文针对大型语言模型在伊斯兰问题回答中可能产生难以识别的事实错误，提出了一个两阶段统一预测系统：判断阿拉伯语答案是否幻觉，并从六个相近候选中选择验证答案。系统基于微调的 google/gemma-4-12B-it 模型，使用确定性解码，输出归一化后提取标签和选项。在 HalluScoring 2026 任务 2.1 的伊斯兰知识数据集上，系统在幻觉检测上达到 Macro-F1 0.928 和标签准确率 0.935，答案选择准确率 0.895，综合得分 0.912。结果表明幻觉检测性能强，但选项选择准确率较低，提示在区分相近答案方面仍有改进空间。
系统采用微调的 google/gemma-4-12B-it 模型，结合确定性解码和输出归一化，实现幻觉检测与答案选择的联合预测。幻觉检测的高准确率（0.935）表明微调模型能有效捕捉幻觉特征，但选项选择准确率（0.895）较低，可能源于相近选项的细微差异。可验证的下一信号：模型在区分语义相近答案时的错误模式分析，或引入检索增强是否提升选项选择准确率。
该工作展示了针对特定领域（伊斯兰知识）的幻觉检测与答案恢复方案，表明领域定制化微调可提升模型可靠性。在宗教、法律等高风险领域，幻觉检测系统有实际需求。可验证的下一信号：该方案是否被集成到实际问答产品中，或扩展到其他语言和领域。
对于提供阿拉伯语或伊斯兰知识问答服务的公司，该系统可降低幻觉风险，提升用户信任。其高准确率表明商业部署可行，但选项选择瓶颈可能影响用户体验。可验证的下一信号：是否有企业采用该技术或类似方案，并报告用户满意度或业务指标。
未来工作可能聚焦于提升选项选择准确率，例如通过对比学习或外部知识增强。该系统的两阶段框架可推广到其他低资源语言和领域。可验证的下一信号：后续论文是否报告改进的选项选择性能，或出现类似框架的跨领域应用。