Aug 6, 2026 · Improving the Realism of Synthetic Clinical Benchmarks Under Utility Constraints
Improving the Realism of Synthetic Clinical Benchmarks Under Utility Constraints
arXiv 论文 2608.06265v1 提出在效用约束下改进合成临床基准的现实性。基线基准中采样对缺失率为 79.44%，仅 12.75% 的行可操作，38.94% 的患者无可操作措施，前三 token 集中度达 100%。两种确定性修订在保持效用下限的同时改善了这些指标，而朴素密集化对照则失败。
EVENT STORY
Development
- First ReportImproving the Realism of Synthetic Clinical Benchmarks Under Utility ConstraintsarXiv cs.AI
- Current Assessment合成数据在医疗等隐私敏感领域日益重要，但现有基准可能因结构不现实而误导模型评估。该研究提示，企业在采用合成基准时需关注其结构现实性，而不仅仅是效用指标。Agent Pulse · analysis
该论文针对企业 AI 代理的合成临床基准，指出其可能通过现有效用检查但仍缺乏结构现实性，尤其在隐私敏感的医疗场景中。作者将基准修订形式化为效用约束下的现实性改进，即数据集变更应在保持操作效用下限的同时增加现实性。他们在基于 Synthea 生成患者和演示 EHR 工作流的护理缺口基准上验证了该方法，现实性通过缺失结构、简单性、结构合理性和人群对齐来衡量。基线基准极为薄弱，但两种确定性修订在效用约束下改善了现实性指标，而朴素密集化对照则未能保持效用。
该方法将基准修订视为约束优化问题，在效用下限内提升现实性，而非单纯追求数据密度。确定性修订优于朴素密集化，表明在合成数据生成中，结构约束比简单增加数据量更有效。未来可关注其修订算法是否可泛化到其他合成基准。
合成数据在医疗等隐私敏感领域日益重要，但现有基准可能因结构不现实而误导模型评估。该研究提示，企业在采用合成基准时需关注其结构现实性，而不仅仅是效用指标。
对于依赖合成数据评估 AI 代理的企业，该方法可提高基准可靠性，减少模型在真实场景中的性能落差，从而降低部署风险。
后续可验证信号包括：该方法是否被应用于其他医疗基准或领域，以及是否出现基于现实性约束的合成数据生成工具。