Efficient Heteroscedastic Bayesian Optimization for Risk-Aware AutoRL
Efficient Heteroscedastic Bayesian Optimization for Risk-Aware AutoRL (ERAHBO) 是一种贝叶斯优化方法，同时建模学习结果的均值和方差作为超参数配置的函数，旨在识别高平均回报且低变异性的超参数配置，并通过自适应重采样提高样本效率。实验表明，ERAHBO 在多种 RL 算法和环境中通常优于风险中性和风险规避基线。
Development
- First ReportEfficient Heteroscedastic Bayesian Optimization for Risk-Aware AutoRLarXiv cs.AI
- Current Assessment该工作表明 AutoRL 领域正从仅关注平均性能转向同时考虑风险（方差），这与生产环境中对 RL 部署稳定性的需求一致。ERAHBO 的异方差建模思路可推广至其他需要平衡性能与鲁棒性的超参数优化场景，如自动驾驶策略调参。Agent Pulse · analysis
Efficient Heteroscedastic Bayesian Optimization for Risk-Aware AutoRL (ERAHBO) 是一种针对强化学习超参数优化的贝叶斯优化方法。它通过异方差高斯过程同时建模平均回报和回报方差，并采用自适应重采样策略（而非固定预算）来提升样本效率。实验覆盖多种 RL 算法（如 PPO、SAC）和环境（如 MuJoCo、Atari），结果显示 ERAHBO 在风险规避指标（如条件风险价值 CVaR）上通常优于现有方法。
ERAHBO 的核心创新在于将异方差噪声建模引入贝叶斯优化，使得优化器能够区分高回报但高方差与低回报但低方差的配置。自适应重采样策略根据当前模型不确定性动态分配评估次数，避免在确定性区域浪费资源。该方法与风险中性基线（如标准 BO）和风险规避基线（如期望改进的方差惩罚版本）对比，在样本效率上具有优势。
该工作表明 AutoRL 领域正从仅关注平均性能转向同时考虑风险（方差），这与生产环境中对 RL 部署稳定性的需求一致。ERAHBO 的异方差建模思路可推广至其他需要平衡性能与鲁棒性的超参数优化场景，如自动驾驶策略调参。
对于依赖 RL 进行决策优化的企业（如推荐系统、机器人），ERAHBO 提供了一种更可靠的超参数调优方法，降低部署后性能波动的风险，从而减少运维成本和业务损失。
下一步可验证 ERAHBO 在更大规模 RL 任务（如机器人控制）上的可扩展性，以及其自适应重采样策略在计算预算严格时的表现。此外，将异方差建模与多目标优化结合可能进一步拓展应用范围。