When Synthetic Users Fail: A Cross-Domain Benchmark of LLM-Simulated Human Survey Responses
arXiv 论文 2607.26348v1 提出跨领域基准，用统一协议在四个模型（两个家族，8B 到前沿规模）上测试 LLM 作为合成用户的有效性，对比两个真实人类调查数据集（GSS 和 WVS）。结果显示，在个体层面，没有 LLM 能超越最强基线；模型系统性地过度决定人口统计特征，将身份视为比实际更预测态度。
Development
- First ReportWhen Synthetic Users Fail: A Cross-Domain Benchmark of LLM-Simulated Human Survey ResponsesarXiv cs.CL
- Current Assessment该研究对依赖合成用户数据进行产品、政策或市场决策的行业构成警示。合成用户数据在个体层面可能系统性偏差，过度强调人口统计特征，可能导致基于此的决策失真。行业应谨慎使用合成用户数据，并考虑结合真实数据或使用更稳健的基线方法。Agent Pulse · analysis
该论文对 LLM 作为合成用户（synthetic users）的有效性进行了跨领域基准测试。研究使用统一协议，在四个模型（覆盖两个家族，参数规模从 8B 到前沿）上，针对两个独立领域的真实人类响应数据（美国综合社会调查 GSS 和世界价值观调查 WVS）进行模拟。每个模型都与基于保留人类数据拟合的非 LLM 基线进行对比。在人口统计提示和调查模拟协议下，两个失败模式在两个领域、所有四个模型和两个家族中重复出现：第一，在个体层面，没有 LLM 能击败最强基线；在跨文化价值观上，每个模型都远低于基线，且差距在距离感知和适当评分下依然存在。第二，模型系统性地过度决定人口统计特征，将身份视为比真实人类中更预测态度，这种扭曲几乎在所有情况下都存在。
该基准测试表明，LLM 在模拟个体人类调查响应时，其预测能力不如简单的非 LLM 基线（如基于人口统计的统计模型）。模型倾向于夸大人口统计特征（如年龄、性别、教育）对态度的预测力，这可能导致合成用户数据在个体层面失真。这提示，在需要个体级预测的任务中，LLM 模拟可能不适用，而群体层面的聚合可能仍有一定价值。
该研究对依赖合成用户数据进行产品、政策或市场决策的行业构成警示。合成用户数据在个体层面可能系统性偏差，过度强调人口统计特征，可能导致基于此的决策失真。行业应谨慎使用合成用户数据，并考虑结合真实数据或使用更稳健的基线方法。
对于使用合成用户数据进行市场调研、产品测试或政策分析的团队，该研究提供了可验证的失效模式，帮助评估合成数据的可靠性，避免基于有偏数据做出错误决策。
未来研究可能探索改进 LLM 模拟用户的方法，例如通过校准或混合模型来减少人口统计过度决定。也可能出现更细粒度的基准，覆盖更多领域和模型，以建立更全面的失效边界。