SelfWAM: A Self-Grounded Unified World Action Model for Fast Robot Control

SelfWAM 是一种自接地统一世界动作模型，用于快速机器人控制。它基于模态特化的混合 Transformer 架构，联合预测动作、动作条件下的未来 RGB 帧和机器人自掩码。通过让未来视觉查询关注演示动作的干净副本，SelfWAM 将视频分支转化为动作特定后果模型，同时保持快速动作推理路径不变。此外，它使用提示特定目标来预测未来机器人自掩码，聚焦于动作相关的视觉变化。

SelfWAM 的架构创新在于使用模态特化的混合 Transformer，并引入干净动作条件，使未来预测与具体动作后果紧密耦合。自掩码监督进一步聚焦于动作相关的视觉变化。这为机器人策略学习提供了更有效的表征。