PAC-MAN: Perception-Aware CBF-RL for Whole-Body Safety in Humanoid Dodgeball
PAC-MAN 是一个感知感知的 CBF-RL 框架，将控制屏障安全性与部署现实的机载感知相结合，用于全身人形躲避球。部署的策略仅通过头戴摄像头的分割掩码深度来观察球，而训练时的 CBF 指导表示到每个身体链接的间隙，对抗性运动先验正则化产生的躲避反射。在受控的任意链接接触基准上评估，该策略在单次投掷和部署循环中接近特权状态预言机的性能。研究发现，可用的屏障结构取决于感知可观测性：Joint-CBF 在准确球状态下表现最佳，在固定摄像头观测下作为训练指导时性能下降，并通过球跟踪云台或特权运行时过滤器恢复。因此，他们在真实世界的 Unitree G1 上零样本部署了轻量级 Link-CBF 策略，容忍不完美的感知，在 95% 的投掷中成功。
Development
- First ReportPAC-MAN: Perception-Aware CBF-RL for Whole-Body Safety in Humanoid DodgeballarXiv cs.AI
- Current Assessment该研究展示了将安全关键控制与部署现实感知相结合的趋势，可能影响人形机器人在动态环境中的安全导航和交互。通过使用低成本机载摄像头实现全身安全，可能降低对昂贵外部跟踪系统的依赖，推动人形机器人在更广泛场景中的实用化。Agent Pulse · analysis
PAC-MAN 提出了一种感知感知的 CBF-RL 框架，将控制屏障安全性与部署现实的机载感知相结合，用于全身人形躲避球。部署的策略仅通过头戴摄像头的分割掩码深度来观察球，而训练时的 CBF 指导表示到每个身体链接的间隙，对抗性运动先验正则化产生的躲避反射。在受控的任意链接接触基准上评估，该策略在单次投掷和部署循环中接近特权状态预言机的性能。研究发现，可用的屏障结构取决于感知可观测性：Joint-CBF 在准确球状态下表现最佳，在固定摄像头观测下作为训练指导时性能下降，并通过球跟踪云台或特权运行时过滤器恢复。因此，他们在真实世界的 Unitree G1 上零样本部署了轻量级 Link-CBF 策略，容忍不完美的感知，在 95% 的投掷中成功。
PAC-MAN 表明，CBF 指导的有效性高度依赖于感知可观测性。当使用准确球状态时，Joint-CBF 表现最佳，但在固定摄像头观测下作为训练指导时性能下降，这表明屏障结构需要与感知能力匹配。通过球跟踪云台或特权运行时过滤器恢复性能，强调了感知在安全关键控制中的核心作用。轻量级 Link-CBF 策略在真实世界零样本部署成功，表明在有限感知下，基于链接的屏障可能更鲁棒。
该研究展示了将安全关键控制与部署现实感知相结合的趋势，可能影响人形机器人在动态环境中的安全导航和交互。通过使用低成本机载摄像头实现全身安全，可能降低对昂贵外部跟踪系统的依赖，推动人形机器人在更广泛场景中的实用化。
对于人形机器人公司，该框架可能提供一种在真实世界中实现安全动态交互的方法，减少对精确状态估计的依赖，从而降低部署成本并提高可靠性。这可能加速人形机器人在服务、物流等领域的商业化应用。
未来可能探索更复杂的感知模型与 CBF 的集成，以及在不同机器人平台和任务上的泛化。也可能研究在更不可预测的环境中，如何通过在线学习或自适应机制进一步提高安全性。