AI-Assisted Peer Review Across Research Communities: From Reviewer AI Policies to LLM Review Quality

一项研究调查了111个领先AI/NLP会议和医学期刊的审稿人AI政策，发现两个社区在监管上存在显著差异。研究在ICLR 2026和Nature Communications上评估了AI生成的同行评审，使用包含原始稿件和数百个人类及机器生成评审的新数据集，比较了开源和专有模型，采用LLM-as-a-Judge、分数对齐、粒度和与人类审稿人关注点的重叠等指标。结果显示，当前LLM能生成详细流畅的评审，但存在系统性弱点，如过度正面推荐、泛泛批评和证据基础不均衡。研究还表明，仅用总体质量分数会高估评审质量，并主张采用多维评估。

当前LLM生成的评审在流畅性和细节上表现良好，但存在系统性弱点：过度正面推荐、泛泛批评和证据基础不均衡。这表明LLM在评审任务上尚未达到人类审稿人的标准，尤其是在批判性思维和具体证据引用方面。