Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach
论文提出 Cognitive Diagnostic Profiling (CDP) 框架，用零样本方式让 LLM 模拟具有不同认知画像的考生。在 Tatsuoka 分数减法数据集（536 名考生、15 道题、5 个属性）上，评估了 8 种 LLM 配置在无画像、无信息 CDP 和信息 CDP 条件下的表现。CDP 在能力分布、掌握画像和题目难度三个层面均提升了与人类考生的一致性；画像层面加权相关达到 0.92-0.98；最强配置为 Gemini 3.0 Flash (Thinking)。
Development
- First ReportAligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling ApproacharXiv cs.CL
- Current Assessment该方法展示了 LLM 在教育和心理测量领域的应用潜力，可能降低教育测试校准的成本。但研究基于单一数据集，泛化性有待验证。未来若在更多测试场景中验证，可能推动教育科技公司采用 LLM 模拟数据进行测试开发。Agent Pulse · analysis
arXiv 论文提出 Cognitive Diagnostic Profiling (CDP)，一种零样本框架，通过将二元属性掌握模式渲染为自然语言画像并采样，让 LLM 模拟具有多样认知画像的考生，以解决 LLM 模拟考生响应过于准确和均匀的问题。在 Tatsuoka 分数减法数据集上，CDP 在能力分布、掌握画像和题目难度三个层面均提升了与人类考生的一致性，画像层面加权相关达 0.92-0.98，推理增强模型效果最佳。
CDP 通过将认知诊断模型中的二元属性掌握模式转化为自然语言画像，在零样本条件下引导 LLM 生成更多样化的响应，显著改善了模拟数据与人类数据的对齐。这提示，针对特定领域设计提示策略，可以有效利用 LLM 的领域知识生成高质量合成数据，用于心理测量校准等数据稀缺场景。
该方法展示了 LLM 在教育和心理测量领域的应用潜力，可能降低教育测试校准的成本。但研究基于单一数据集，泛化性有待验证。未来若在更多测试场景中验证，可能推动教育科技公司采用 LLM 模拟数据进行测试开发。
对于教育科技公司，该方法可能降低测试校准成本，加速测试开发。但需注意，当前结果基于单一数据集，实际应用前需在更多场景验证。
后续可关注 CDP 在更大规模、更多样化测试数据集上的验证，以及与其他提示策略的组合效果。若验证成功，可能成为教育测试校准的标准工具。