AI-Based Thesis Assessment: An Empirical Study of Human Evaluation Priorities and Their Impact on Automated Assessment
一项针对论文评估的实证研究调查了84位论文导师，收集了35个评估标准的权重数据，并与AI评估系统RubiSCoT的默认权重进行比较，发现存在显著差异。将导师权重整合到校准配置中，在80篇德语论文上评估，最佳配置将平均相对偏差从11.18%降至10.85%，但改进不显著。
Development
- First ReportAI-Based Thesis Assessment: An Empirical Study of Human Evaluation Priorities and Their Impact on Automated AssessmentarXiv cs.CL
- Current Assessment该研究对AI在教育评估领域的应用提出了警示：基于规则的评估系统可能无法准确反映人类评估者的实际标准。尽管权重调整有潜力，但改进有限，表明需要更复杂的模型或混合方法。这可能会影响教育科技公司开发评估工具的策略，促使他们更注重实证数据而非专家直觉。Agent Pulse · analysis
该研究调查了论文导师在评估论文时的优先级，并将其与AI评估系统RubiSCoT的默认权重进行比较。通过调查84位来自四个学科的导师，收集了35个评估标准的权重，发现导师权重与默认权重存在显著差异。将导师权重整合到校准配置中，在80篇德语论文上测试，最佳配置将平均相对偏差从11.18%降至10.85%，但改进未达到统计显著性。这表明基于规则的AI评估系统可能未充分反映人类评估者的实际优先级，但调整权重带来的改进有限。
该研究揭示了AI评估系统中标准权重设定的经验基础薄弱。RubiSCoT等系统依赖专家判断设定权重，但缺乏实证支持。研究通过调查导师获得权重，并整合到系统中，但改进不显著，可能因为权重调整的粒度或校准方法有限。未来可探索更细粒度的权重调整或结合其他校准技术，如基于强化学习的权重优化。
该研究对AI在教育评估领域的应用提出了警示：基于规则的评估系统可能无法准确反映人类评估者的实际标准。尽管权重调整有潜力，但改进有限，表明需要更复杂的模型或混合方法。这可能会影响教育科技公司开发评估工具的策略，促使他们更注重实证数据而非专家直觉。
对于开发AI评估工具的教育科技公司，该研究提供了改进产品的重要依据。通过整合实证权重，可能提升评估准确性，但改进有限，需权衡成本与收益。公司可考虑提供可定制的权重设置，让用户根据自身需求调整，以增强产品灵活性。
未来研究可扩大样本规模，涵盖更多学科和语言，以验证权重差异的普遍性。同时，可探索更先进的校准方法，如基于深度学习的权重学习，或结合自然语言处理技术理解评估标准。此外，研究可关注如何将导师反馈实时整合到系统中，实现动态调整。