X-NavDP: Generalizing Navigation Diffusion Policy to Novel Behavior and Embodiments with Group Q-score Reweighted Matching

X-NavDP 论文提出 GQRM（Group Q-score Reweighted Matching）框架，用于导航扩散策略的强化学习后训练。预训练导航扩散策略依赖大规模专家演示，这些数据通常由针对单一标称机器人的全知 oracle 规划器生成，限制了策略对多样 embodiment 和挑战场景（如逃离死胡同、绕行长障碍）的泛化。后训练策略使用 RL 是原则性解决方案，但先前方法因扩散策略的不可处理似然而导致策略梯度不稳定和探索低效，改进有限。GQRM 引入两个互补设计：自举探索策略（带行为扰动）保留预训练策略先验，以及组 Q-score 归一化机制计算每个状态上的每轨迹值，用于高效重加权分数匹配。

GQRM 通过组 Q-score 归一化解决扩散策略 RL 中似然不可处理导致的梯度不稳定问题，可能为扩散策略的 RL 微调提供新范式。可验证信号：后续工作是否采用类似组归一化策略，或在其他领域（如机器人操作）复现。