Characterizing Bias in Post-Bandit Inference under Index Algorithms
arXiv 论文 2608.01069v1 分析了稳定索引算法（包括 UCB1 及其推广）在 bandit 后推断中的样本均值偏差，推导出偏差和期望 Z 统计量的前导阶表达式，并引入有效探索率概念。在 UCB1 下，有效探索率约为 sqrt(log T)，非唯一最优臂的标准化偏差以 1/sqrt(log T) 的极慢速率衰减。论文还展示了索引函数选择对遗憾和偏差的影响，揭示遗憾-偏差权衡：更探索的算法减少偏差但增加遗憾。
Development
- First ReportCharacterizing Bias in Post-Bandit Inference under Index AlgorithmsarXiv cs.LG
- Current Assessment该研究对在线学习系统的设计有启示：当使用 bandit 算法收集数据用于后续分析时，需注意偏差问题。遗憾-偏差权衡表明，更探索的算法虽增加遗憾但减少偏差，这可能影响在线实验和个性化推荐系统的数据质量。Agent Pulse · analysis
该论文研究了 bandit 算法生成数据用于下游推断时的偏差问题。由于自适应采样，bandit 后的样本均值存在偏差。作者针对稳定索引算法（如 UCB1）推导了样本均值偏差和期望 Z 统计量的前导阶表达式，并引入有效探索率这一关键量。在 UCB1 下，有效探索率约为 sqrt(log T)，非最优臂的标准化偏差以 1/sqrt(log T) 的极慢速率衰减。论文还揭示了索引函数选择对遗憾和偏差的影响，存在遗憾-偏差权衡：更探索的算法减少偏差但增加遗憾。该分析基于新颖的经验流体近似，可能具有独立价值。
该研究为 bandit 后推断的偏差提供了理论刻画，指出在 UCB1 等索引算法下，非最优臂的偏差衰减极慢（1/sqrt(log T)），这意味着在有限时间范围内，基于 bandit 收集的数据进行统计推断可能产生显著偏差。有效探索率的概念可能帮助设计者理解算法偏差来源，并权衡探索与利用。
该研究对在线学习系统的设计有启示：当使用 bandit 算法收集数据用于后续分析时，需注意偏差问题。遗憾-偏差权衡表明，更探索的算法虽增加遗憾但减少偏差，这可能影响在线实验和个性化推荐系统的数据质量。
对于依赖 bandit 算法进行在线决策并利用收集数据做统计推断的企业，该研究提示需评估偏差风险，可能影响实验设计和数据科学流程。
未来可能看到针对其他 bandit 算法（如 Thompson sampling）的偏差分析，以及偏差校正方法的开发。也可能出现将有效探索率作为设计指标的实践。