UpliftBench: Revealing Outcome-Regime and Objective Mismatch in Uplift Evaluation
UpliftBench 论文评估了 12 种 uplift 估计器，采用外部测试隔离的多目标协议，覆盖七个数据集家族。在 IHDP 基准上，Qini 与效应准确性的平均秩相关为 +0.07（95% CI [-0.03, +0.16]），而 AUUC 更对齐（配对前缀均值差 +0.49，95% CI [+0.40, +0.59]；累积增益 AUUC 差 +0.73）。在 Jobs 数据集上，排名指标对符号阈值策略结构性不足，直接策略风险选择比随机模型选择的基准遗憾更低。
Development
- First ReportUpliftBench: Revealing Outcome-Regime and Objective Mismatch in Uplift EvaluationarXiv cs.LG
- Current AssessmentUplift 建模在个性化营销和精准干预中广泛应用，但基准分歧可能误导从业者选择次优模型。该研究强调指标与目标对齐的重要性，可能推动行业采用更稳健的评估协议。Agent Pulse · analysis
UpliftBench 论文揭示，已发表的 uplift 基准在估计器排名上的分歧主要源于指标而非模型。该研究评估了 12 种估计器，采用外部测试隔离的多目标协议，覆盖七个数据集家族。在 IHDP 基准上，Qini 指标与效应准确性无显著对齐（平均秩相关 +0.07，95% CI [-0.03, +0.16]），而 AUUC 更对齐（配对差 +0.49 至 +0.73）。在 Jobs 数据集上，排名指标因丢弃分数水平而对符号阈值策略结构性不足，直接策略风险选择比随机选择产生更低基准遗憾。
该研究提供了量化证据，表明在 uplift 评估中，指标选择比模型选择更能影响排名。Qini 与效应准确性的秩相关接近零，而 AUUC 的对齐性显著更高，这提示在评估 uplift 模型时，应优先考虑与决策目标一致的指标。
Uplift 建模在个性化营销和精准干预中广泛应用，但基准分歧可能误导从业者选择次优模型。该研究强调指标与目标对齐的重要性，可能推动行业采用更稳健的评估协议。
对于依赖 uplift 建模进行用户分层的企业，该研究提供了选择评估指标的指导，有助于避免因指标错配导致的资源浪费，提升干预策略的 ROI。
未来研究可能进一步探索多目标评估协议在不同领域（如医疗、金融）的适用性，并开发更贴合实际决策场景的指标。