Multi-View Unified Camera Fields: Geometry-Shaped Action-Facing Representations for RGB-Only Multi-Camera VLA Policies
MVUCF 是一种仅训练阶段的框架，通过坐标查询深度目标和预处理感知对应目标，在多视角 VLA 模型中形成共享的动作面向潜在场。深度、相机标定和辅助头在部署时被移除，仅使用 RGB 输入，无额外推理 FLOPs。在 GR00T-N1.6 设置下，MVUCF 在 LIBERO 上达到 98.9%，在 LIBERO-Plus 上提升 22.4 个百分点，在六个 RoboTwin 任务上平均提升 23.3 个百分点。
发展脉络
- 首次出现Multi-View Unified Camera Fields: Geometry-Shaped Action-Facing Representations for RGB-Only Multi-Camera VLA PoliciesarXiv cs.RO
- 当前判断该工作表明，多相机 VLA 策略可以通过训练时注入几何信息来提升性能，而无需增加推理成本。这可能会推动机器人操作领域更广泛地采用多相机设置，并促进对训练目标设计的关注。Agent Pulse · 分析
MVUCF 是一种仅训练阶段的框架，用于多相机视觉-语言-动作（VLA）模型，通过几何形状的动作面向表示提升操作性能。它引入坐标查询深度目标，使度量深度可恢复，并引入预处理感知对应目标，对齐不同相机观察同一物理点的 token。这些目标直接塑造动作模块使用的隐藏状态。部署时，深度、相机标定和辅助头被移除，因此推理仅使用原始 RGB 图，无额外 FLOPs。在 GR00T-N1.6 设置下，MVUCF 在 LIBERO 上达到 98.9%，在 LIBERO-Plus 上提升 22.4 个百分点，在六个 RoboTwin 任务上平均提升 23.3 个百分点。
MVUCF 通过训练目标注入几何信息，而非改变推理架构，这暗示了在保持部署效率的同时提升多视角一致性的可行路径。坐标查询深度目标使度量深度可恢复，预处理感知对应目标对齐跨视角 token，两者共同塑造动作模块的隐藏状态。这可能导致更鲁棒的动作预测，尤其是在遮挡和接触丰富的场景中。
该工作表明，多相机 VLA 策略可以通过训练时注入几何信息来提升性能，而无需增加推理成本。这可能会推动机器人操作领域更广泛地采用多相机设置，并促进对训练目标设计的关注。
MVUCF 在保持推理效率的同时提升了多相机 VLA 策略的性能，这可能降低机器人部署的硬件要求（如无需深度传感器），并提高复杂操作任务的可靠性，从而加速机器人自动化在工业等场景的落地。
后续可验证的信号包括：MVUCF 在真实机器人上的部署结果、与其他 VLA 基线的对比、以及该方法在更多任务和场景中的泛化能力。