WCM: A World Critic Model for Vision-Language-Action Reinforcement Learning
WCM（World Critic Model）是一种用于视觉-语言-动作（VLA）模型强化学习后训练的方法，基于轻量级 LeJEPA 架构，联合预测未来潜在状态并估计价值，以解决 critic 表示无法捕捉时间动态的问题。
发展脉络
- 首次出现WCM: A World Critic Model for Vision-Language-Action Reinforcement LearningarXiv cs.CL
- 当前判断该研究反映了机器人操作领域对强化学习后训练中时间建模的重视，可能推动 VLA 模型在部分可观测环境中的部署。可验证的下一信号：是否有后续工作将类似世界模型目标应用于其他 VLA 后训练框架，或是否出现基于 WCM 的机器人产品。Agent Pulse · 分析
WCM 论文指出，VLA 模型的强化学习后训练中，基于 critic 的方法依赖价值估计器，但该估计器主要基于单帧观测或单帧 VLM 骨干潜在表示，这与机器人控制的部分可观测性不匹配。简单地将观测历史纳入 critic 会导致高维视觉空间的指数级复杂度，且纯标量回报回归无法提供足够的监督来学习跨时间动态。作者将根本原因识别为状态近似问题：没有显式的世界建模目标，critic 的表示无法捕捉价值估计所需的时间结构。为此，他们提出 WCM，基于轻量级 LeJEPA 架构，联合预测未来潜在状态并估计价值，使 critic 的表示显式地训练以捕捉时间动态，而非仅仅回归标量回报。WCM 可无缝集成到 on-policy 和 off-policy 方法中。
WCM 的核心创新在于将世界模型目标引入 critic 学习，通过联合预测未来潜在状态来增强表示的时间结构。这暗示 critic 的表示学习可能从纯价值回归转向更丰富的预测任务，可能提高样本效率。可验证的下一信号：在标准机器人操作基准（如 RLBench 或 MetaWorld）上，WCM 是否显著优于单帧 critic 基线，以及 LeJEPA 架构的轻量性是否带来推理开销的降低。
该研究反映了机器人操作领域对强化学习后训练中时间建模的重视，可能推动 VLA 模型在部分可观测环境中的部署。可验证的下一信号：是否有后续工作将类似世界模型目标应用于其他 VLA 后训练框架，或是否出现基于 WCM 的机器人产品。
对于机器人公司，WCM 可能提升 VLA 模型在真实世界操作中的性能，减少对大量真实数据的依赖，从而降低部署成本。可验证的下一信号：是否有公司采用 WCM 或类似方法进行产品化。
WCM 可能成为 VLA 强化学习后训练的标准组件，尤其在需要长期时间依赖的任务中。未来可能看到更多将世界模型与价值学习结合的架构，以及针对部分可观测性的专门设计。