GAUGE: A Measurement-Grounded Benchmark for Physical Fidelity in Simulation Engines and Video World Models
GAUGE 是一个以真实世界为基准的物理保真度诊断基准，用于联合评估数值模拟器和生成式视频世界模型对真实物理的复现或偏离程度。它包含 22 个受控任务族，覆盖刚体、柔性线缆、纺织品和体积可变形物体，并基于真实世界轨迹、校准的物理元数据、不确定性标注和任务特定可观测变量构建。研究团队在 14 个任务族上使用广义轨迹误差对 Isaac Sim、Genesis 和 Newton 进行了基准测试，并评估了 6 个图像到视频模型。
Development
- First ReportGAUGE: A Measurement-Grounded Benchmark for Physical Fidelity in Simulation Engines and Video World ModelsarXiv cs.RO
- Current Assessment该基准的发布反映了具身智能领域对物理保真度评估的重视，可能推动模拟器和世界模型在训练和评估中的更广泛应用。同时，它也暗示了视频世界模型作为隐式模拟器的潜力，但需要更严格的物理一致性验证。Agent Pulse · analysis
GAUGE 是一个以真实世界为基准的物理保真度诊断基准，用于联合评估数值模拟器和生成式视频世界模型对真实物理的复现或偏离程度。它包含 22 个受控任务族，覆盖刚体、柔性线缆、纺织品和体积可变形物体，并基于真实世界轨迹、校准的物理元数据、不确定性标注和任务特定可观测变量构建。研究团队在 14 个任务族上使用广义轨迹误差对 Isaac Sim、Genesis 和 Newton 进行了基准测试，并评估了 6 个图像到视频模型。
GAUGE 的提出表明，物理模拟器和视频世界模型的评估正在从感知相似性或人工判断转向基于真实世界轨迹和物理参数的诊断性评估。通过覆盖碰撞、摩擦、动量传递、振荡、自接触和变形等基本物理过程，该基准能够定位模型违反的具体物理原理或参数，为改进模拟器和世界模型提供可操作的反馈。
该基准的发布反映了具身智能领域对物理保真度评估的重视，可能推动模拟器和世界模型在训练和评估中的更广泛应用。同时，它也暗示了视频世界模型作为隐式模拟器的潜力，但需要更严格的物理一致性验证。
对于开发物理模拟器或视频世界模型的公司，GAUGE 提供了一个统一的评估框架，有助于识别产品在物理保真度上的短板，指导研发投入。对于使用这些工具进行具身智能训练的企业，该基准可帮助选择更可靠的模拟环境，降低训练与部署之间的差距。
未来，GAUGE 可能扩展更多任务族和物理过程，并成为模拟器和世界模型的标准评估工具。随着更多模型在基准上的表现被公开，我们可能看到针对物理保真度的专项优化。