From Passive Video to Editable Experience: Physically Grounded Experience Synthesis for Embodied Intelligence
Pegasus 是一个低资源框架，通过构建基于图的中间表示（Task Graph、Affordance and Constraint Graphs、Robot Planning Graph）将人类演示视频转化为机器人可学习的数据，并使用层次化 affordance 潜空间和闭环物理验证器来确保生成的可执行性。在 GTEA Gaze+ 和 EPIC-KITCHENS-100 等基准上进行了评估。
发展脉络
- 首次出现From Passive Video to Editable Experience: Physically Grounded Experience Synthesis for Embodied IntelligencearXiv cs.AI
- 当前判断该工作表明，具身 AI 领域正从关注模型架构转向数据生成和利用。Pegasus 提供了一种低资源方法，可能降低机器人数据收集的成本，加速机器人技能学习。Agent Pulse · 分析
Pegasus 框架旨在解决具身 AI 中的数据瓶颈问题，即人类操作视频与机器人硬件之间的具身差距。它通过从人类视频中提取 Task Graph，然后转换为 Affordance and Constraint Graphs，最终生成 Robot Planning Graph，用于机器人条件视频生成。层次化 affordance 潜空间建模对象状态、affordance 和任务之间的关系，实现跨对象泛化。闭环物理验证器使用运动学可行性、碰撞约束和关节限制过滤无效生成。在 GTEA Gaze+ 和 EPIC-KITCHENS-100 等基准上评估了任务正确性、可执行性、状态一致性和可学习性。
Pegasus 的核心创新在于使用图结构作为中间表示来桥接人类和机器人之间的具身差距，而不是直接端到端学习。层次化 affordance 潜空间允许模型在对象身份之外泛化，物理验证器确保生成的动作在机器人上可执行。这为从互联网视频中提取机器人训练数据提供了一种可扩展的方法。
该工作表明，具身 AI 领域正从关注模型架构转向数据生成和利用。Pegasus 提供了一种低资源方法，可能降低机器人数据收集的成本，加速机器人技能学习。
Pegasus 可能降低机器人训练数据的获取成本，使机器人公司能够利用海量互联网视频进行训练，从而加速机器人技能的开发和应用。
未来可关注 Pegasus 在真实机器人上的部署效果，以及其图表示方法是否能扩展到更复杂的任务和更长的操作序列。