Beyond a Single Judge: Simulating Social Persona Panels for Generative UI Evaluation
arXiv 论文提出 ESPP（Evidence-Grounded, Social-Weighted Persona Panel），一种三阶段生成式 UI 评估方法：由心理多样、证据支撑的角色面板独立评分截图，通过基于特质、语义门控的有界共识机制交换意见，并用 Delphi 启发的社会加权聚合为单一判断。相比单次 LLM 评判，ESPP 将 Pearson r 从 0.716 提升至 0.922；提示集成对照仅恢复约三分之一的差距，表明角色与证据支撑是主要改进来源。
Development
- First ReportBeyond a Single Judge: Simulating Social Persona Panels for Generative UI EvaluationarXiv cs.CL
- Current Assessment生成式 UI 评估从单一 LLM 评判转向社会角色面板模拟，反映了评测方法向更贴近真实用户感知的方向演进。ESPP 通过模拟不同用户群体的感知差异，可能成为 GenUI 评测的新范式，影响 UI 生成模型的迭代方向。可验证的下一信号是：是否有更多研究或产品采用类似多角色评估方法，以及该方法能否标准化为行业评测基准。Agent Pulse · analysis
生成式 UI（GenUI）让大语言模型直接从自然语言指令合成完整可渲染界面，但评估生成质量仍是开放问题。人工评估成本高且评分者差异大，LLM-as-a-judge 可扩展但只反映单一隐含视角，无法捕捉不同真实用户群体对同一界面的感知差异。论文提出 ESPP 方法，用心理多样、证据支撑的角色面板独立评分截图，在特质衍生、语义门控的有界共识机制下交换意见，并通过 Delphi 启发的社会加权聚合为单一判断。实验显示 ESPP 比单次评判更贴近人类判断，Pearson r 从 0.716 升至 0.922；提示集成对照仅恢复约三分之一差距，隔离出角色与证据支撑是主要改进来源。此外，保留每位小组成员的个体评分还能进一步揭示不同用户群体的感知差异。
ESPP 的核心在于将单一 LLM 评判扩展为多角色社会模拟：角色由心理特质和证据支撑构建，评分后通过有界共识机制交换意见，并用社会加权聚合。这种设计让评估从单一视角转向群体视角，显著提升与人类判断的相关性（r 从 0.716 到 0.922）。提示集成对照仅恢复约三分之一差距，说明改进主要来自角色多样性和证据支撑，而非简单多次采样。可验证的下一信号是：该方法能否在更大规模、更多样化的 UI 数据集上复现，以及角色数量、特质维度对结果的影响。
生成式 UI 评估从单一 LLM 评判转向社会角色面板模拟，反映了评测方法向更贴近真实用户感知的方向演进。ESPP 通过模拟不同用户群体的感知差异，可能成为 GenUI 评测的新范式，影响 UI 生成模型的迭代方向。可验证的下一信号是：是否有更多研究或产品采用类似多角色评估方法，以及该方法能否标准化为行业评测基准。
对生成式 UI 产品团队，ESPP 提供更贴近人类判断的自动评估方法，可降低人工评测成本并提升迭代效率。对评测服务提供商，多角色评估可能成为差异化能力。可验证的下一信号是：是否有商业产品集成该方法，或出现基于类似思路的评测 API。
ESPP 可能推动生成式 UI 评估从单一评判转向群体模拟，未来或可结合真实用户数据动态构建角色面板，提升评估的生态效度。可验证的下一信号是：该方法是否被后续研究引用或扩展，以及是否出现基于角色面板的评测基准或工具。