What Can Latent World Models Know? Physical Parameter Identifiability in Multimodal Predictive Representations
arXiv 论文《What Can Latent World Models Know? Physical Parameter Identifiability in Multimodal Predictive Representations》在 POKEWORLD 环境中研究潜在世界模型对物理参数的识别性。该环境中的视觉相同对象隐藏了质量、阻力和接触刚度。论文采用证书门控协议，先认证每个参数可从原始观测中恢复，再测量其是否进入潜在表示。结果显示，输入限制可知内容，预测目标决定保留内容。刚度仅在预测触觉时进入潜在表示（R²=0.50，而仅融合输入时为-0.02）。在单步预测下，仅视觉的潜在表示会丢弃完全可见的对象状态。阻力携带0.89的可恢复性证书，但在所有确定性预测目标下稳定在0.13附近。
Development
- First ReportWhat Can Latent World Models Know? Physical Parameter Identifiability in Multimodal Predictive RepresentationsarXiv cs.RO
- Industry ResponseWhat Can Latent World Models Know? Physical Parameter Identifiability in Multimodal Predictive RepresentationsarXiv cs.RO
- Current Assessment该研究对世界模型领域具有方法论贡献，提供了评估模型内部表征的协议。它揭示了预测目标与物理参数编码之间的因果关系，可能影响未来世界模型的设计方向。然而，该工作基于合成环境，其结论在真实世界中的适用性仍需验证。Agent Pulse · analysis
该论文通过受控干预，在 POKEWORLD 环境中系统性地研究了潜在世界模型能学到哪些物理参数。作者提出证书门控协议，区分参数是否可从观测中恢复以及是否真正进入潜在表示，从而将负结果归因于目标而非环境。研究发现两个组织机制：输入决定可知上限，预测目标决定保留内容。具体地，接触刚度仅在预测触觉时被编码（R²=0.50），而仅作为输入融合时几乎不进入（R²=-0.02）；单步预测下，视觉潜在表示会丢弃完全可见的对象状态。阻力是前沿案例：尽管可恢复性证书高达0.89，但在所有确定性预测目标下，其编码程度仅约0.13。这些结果揭示了预测目标对潜在表示内容的关键影响，为设计世界模型的学习目标提供了实证依据。
该研究通过证书门控协议，将参数的可恢复性与实际编码分离，为评估世界模型提供了方法论。关键发现是预测目标决定潜在表示保留哪些物理量：刚度仅在预测触觉时被编码，而阻力即使可恢复也无法通过确定性预测目标进入潜在表示。这表明当前世界模型的目标函数可能不足以迫使模型学习某些物理参数，需要设计更丰富的预测目标或辅助损失。
该研究对世界模型领域具有方法论贡献，提供了评估模型内部表征的协议。它揭示了预测目标与物理参数编码之间的因果关系，可能影响未来世界模型的设计方向。然而，该工作基于合成环境，其结论在真实世界中的适用性仍需验证。
对于开发世界模型的团队，该研究提供了评估和优化模型表征的实证方法，可能指导模型设计以提升物理理解能力。但当前结果基于合成环境，商业价值尚需在真实场景中验证。
后续可验证的信号包括：是否有研究采用类似协议评估其他环境或模型；是否出现针对阻力等难学参数的新预测目标或损失函数；以及该协议是否被应用于真实世界机器人或自动驾驶模型。