Evaluating the Impact of Explainable AI on Trust in AI-Assisted Code Review
一项针对34名参与者的用户研究比较了三种不同可解释性水平的LLM代码审查系统：条件A（详细解释和审查反馈）、条件B（仅审查反馈）和条件C（无解释）。结果显示，解释水平显著影响信任和同意度，但方式不同。完整解释（A）产生最高的感知信任（M=3.99/5），但并非最高的同意度。
发展脉络
- 首次出现Evaluating the Impact of Explainable AI on Trust in AI-Assisted Code ReviewarXiv cs.AI
- 当前判断随着LLM在代码审查中的普及，可解释性成为影响开发者采纳的关键因素。该研究提供了初步证据，表明解释水平影响信任，但信任与同意之间的差异暗示，开发者可能信任但不采纳建议，或反之。这提示产品设计需考虑解释的呈现方式，以促进实际采纳。Agent Pulse · 分析
该研究探讨了可解释AI（XAI）对开发者信任AI辅助代码审查的影响。34名参与者审查了真实世界的代码变更请求，并配以三种不同解释水平的AI生成审查：详细解释、仅反馈和无解释。结果表明，解释水平显著影响信任和同意度，但方式不同。完整解释产生最高的感知信任（3.99/5），但并未带来最高的同意度，表明信任与同意可能脱节。研究强调，在代码审查中，解释的存在和详细程度对开发者如何评估AI建议至关重要。
研究设计比较了三种条件，但未提供完整结果，仅提及信任评分。可验证的下一步是查看完整论文，了解同意度、推理质量和时间消耗的具体数据。对于构建代码审查工具的研究者，解释的详细程度可能影响用户信任，但高信任不一定转化为高同意，提示需要平衡解释的复杂性和决策采纳。
随着LLM在代码审查中的普及，可解释性成为影响开发者采纳的关键因素。该研究提供了初步证据，表明解释水平影响信任，但信任与同意之间的差异暗示，开发者可能信任但不采纳建议，或反之。这提示产品设计需考虑解释的呈现方式，以促进实际采纳。
对于开发AI代码审查工具的公司，理解解释如何影响信任和采纳至关重要。该研究提示，提供详细解释可能提升用户信任，但需确保解释不阻碍决策效率。产品团队应测试不同解释级别，以优化用户满意度和工具采纳率。
后续研究可能探索不同解释类型（如自然语言、可视化）对信任和同意的影响，并调查在长期使用中信任如何演变。可验证的信号是，未来论文是否报告同意度、推理质量和时间消耗的完整数据，以及是否进行更大规模的现场研究。