EduClaw-Bench: A Long-Horizon Benchmark for Pedagogical LLM Agents with Simulated Learners
EduClaw-Bench 是一个用于评估教学 LLM 智能体的基准，它将智能体导师置于与模拟学习者持续 30 天的关系中，模拟学习者基于知识追踪（KT）模型，该模型在真实学生数据上训练，其知识概念掌握程度驱动答案，并在 55 个场景中探测学习收益。每个智能体在三个主要轴（学习收益、响应性和帮助性）和两个课程设计轴（Gagné 和 Rosenshine）上评分，帮助性和课程轴由三个 LLM 评委组成的跨系列小组评判。评估了 10 个智能体适配器，涵盖三个基础模型层级，得出两个发现：辅导质量属于基础模型和智能体……
Development
- First ReportEduClaw-Bench: A Long-Horizon Benchmark for Pedagogical LLM Agents with Simulated LearnersarXiv cs.CL
- Current Assessment该基准的出现表明，教育 AI 领域正在从单一任务点解决方案转向集成到学习管理系统中的智能体，并强调长期关系。这可能会影响教育科技公司如何设计和评估其 AI 辅导产品，推动它们关注长期学习成果而非短期交互。Agent Pulse · analysis
EduClaw-Bench 是一个新的基准，用于评估教学 LLM 智能体在长期、持续的关系中的表现。它将智能体导师置于与模拟学习者 30 天的互动中，模拟学习者由知识追踪模型驱动，该模型在真实学生数据上训练。基准包含 55 个场景，并在学习收益、响应性和帮助性三个主要轴以及 Gagné 和 Rosenshine 两个课程设计轴上评分。帮助性和课程轴由三个 LLM 评委组成的跨系列小组评判。评估了 10 个智能体适配器，涵盖三个基础模型层级，得出的发现是，辅导质量主要取决于基础模型和智能体适配器，而不是单一任务或单次会话。
该基准引入了长期（30 天）模拟学习者，由知识追踪模型驱动，这比单轮评估更接近真实辅导场景。评估维度包括学习收益、响应性、帮助性以及课程设计轴，并使用跨系列 LLM 评委小组进行评判。这为教学智能体的评估提供了更全面的框架，可能推动该领域从点解决方案转向长期关系建模。
该基准的出现表明，教育 AI 领域正在从单一任务点解决方案转向集成到学习管理系统中的智能体，并强调长期关系。这可能会影响教育科技公司如何设计和评估其 AI 辅导产品，推动它们关注长期学习成果而非短期交互。
对于教育科技公司，该基准提供了一种评估 AI 辅导产品长期效果的方法，有助于产品差异化。对于模型提供商，它强调了基础模型质量在辅导任务中的重要性，可能影响模型训练和评估重点。
未来，该基准可能会被扩展以涵盖更多场景和更复杂的模拟学习者，并可能成为教育 AI 智能体的标准评估工具。此外，它可能促使更多研究关注基础模型在长期任务中的表现，以及如何通过适配器改进辅导质量。