From Code Review to Code Critique: Intent, Drift, and Spotlight for AI-Generated Diffs at Scale
ARCTIC 是一个 AI 驱动的代码评审系统，通过意图预测、漂移检测和代码聚焦三个能力重构代码评审。离线评估显示意图预测 F1 为 0.86，漂移检测与人类标注者的序数一致性 QWK 为 0.907，聚焦在质量估计上比基线 AI 评审员好 2.4 倍，且 token 消耗减少 5 倍。实验性部署中，漂移分数使代码错位额外减少 5.76 点（p=0.026）。
Development
- First ReportFrom Code Review to Code Critique: Intent, Drift, and Spotlight for AI-Generated Diffs at ScalearXiv cs.AI
- Current Assessment现有 AI 代码评审工具过度关注风格和最佳实践，而人类评审员更关心正确性、安全性和性能。ARCTIC 通过聚焦这些高价值关注点，可能推动 AI 代码评审工具从低价值建议转向高价值审查。其基于 18,000 条代码评审的六主题分类法为行业提供了可参考的框架。Agent Pulse · analysis
ARCTIC 系统将代码评审从简单的风格检查转向关注正确性、安全性和性能。它通过意图预测从对话日志和元数据推断变更原因，通过反向翻译测量开发者意图与 Agent 输出之间的偏差，并通过代码聚焦对 diff 中最需要人工审查的区域进行排序。这些能力基于从 18,000 条代码评审中提炼的六主题分类法。离线评估显示意图预测 F1 为 0.86，漂移检测与人类标注者的序数一致性 QWK 为 0.907，聚焦在质量估计上比基线 AI 评审员好 2.4 倍，且 token 消耗减少 5 倍。实验性部署中，漂移分数使代码错位额外减少 5.76 点（p=0.026）。
ARCTIC 的漂移检测采用反向翻译技术，将 Agent 生成的 diff 转换回意图描述，并与原始意图比较，从而量化偏差。这种方法的序数一致性 QWK 达到 0.907，接近人类标注者的水平。代码聚焦通过排名 diff 区域，在质量估计上比基线 AI 评审员好 2.4 倍，同时 token 消耗减少 5 倍，表明其能更高效地引导人工审查注意力。意图预测 F1 为 0.86，说明从对话日志和元数据推断变更原因具有可行性。
现有 AI 代码评审工具过度关注风格和最佳实践，而人类评审员更关心正确性、安全性和性能。ARCTIC 通过聚焦这些高价值关注点，可能推动 AI 代码评审工具从低价值建议转向高价值审查。其基于 18,000 条代码评审的六主题分类法为行业提供了可参考的框架。
ARCTIC 通过减少代码错位和聚焦人工审查，可能降低代码审查成本并提高代码质量。对于使用 AI 编码 Agent 的企业，这能减少因代码错误导致的返工和安全漏洞，从而节省成本并提升开发效率。
ARCTIC 的实验性部署显示漂移分数能显著减少代码错位，未来可能被集成到更多开发工作流中。可验证的下一信号包括：ARCTIC 是否在更大规模的生产环境中部署，以及其漂移检测和聚焦能力是否被其他 AI 代码评审工具采用。