Robust-WAM: Bridging Generative Pretraining and Semantic Foresight in World-Action Models

Robust-WAM 提出了一种通用后训练方法，用于基于视频生成的 World-Action Models (WAMs)。主流 WAMs 将预训练的视频生成模型 (VGMs) 适应于机器人控制，利用其学习到的动力学先验进行动作预测。这些 VGMs 通常在变分自编码器 (VAE) 潜在空间中训练，但该空间针对像素重建优化，奖励精细外观细节，导致动作预测在视觉变化下脆弱。近期工作在语义潜在空间中构建 WAMs，对外观变化更鲁棒，但无法利用仅在 VAE 空间中存在的大规模 VGM 预训练。Robust-WAM 通过保留 VAE 生成路径并在动作流上添加轻量级语义预见对齐目标，解决了这一困境，从而保留大规模 VGM 预训练，同时将动作基于外观不变的动力学，在光照变化等视觉分布外条件下保持可靠。

Robust-WAM 的核心技术贡献在于提出了一种后训练方法，通过可学习的查询令牌将未来场景语义引入动作流，对齐其输出隐藏状态与语义特征，从而在不丢弃 VAE 预训练的情况下增强动作预测的鲁棒性。这暗示了在潜在空间设计上，语义对齐可能比单纯追求重建精度更重要。