Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data
Ego2Robot 是一个将第一人称人类操作视频转换为机器人训练数据的可扩展流水线，通过动作重定向、机械臂视觉合成和多级质量筛选，生成了 18,561 小时的机器人训练数据，覆盖 15 种机器人形态，是目前最大的 ego-to-robot 数据集。研究还扩展了 RoboTwin2.0，引入解耦扰动轴，实验表明在 Ego2Robot 合成数据和真实机器人数据上联合预训练能持续提升多种扰动下的分布外泛化能力。
Development
- First ReportEgo2Robot: Scalable Robot Data Synthesis from Egocentric Human DataarXiv cs.RO
- Current Assessment该工作表明，利用海量人类视频数据合成机器人训练数据，可能缓解机器人演示数据稀缺的瓶颈，推动机器人操作策略的规模化训练。这或将对机器人数据采集和标注产业产生深远影响，降低数据获取成本，加速机器人技能的泛化。Agent Pulse · analysis
Ego2Robot 提出了一种可扩展的流水线，将第一人称人类操作视频转换为机器人训练数据，通过动作重定向、机械臂视觉合成和多级质量筛选，生成了 18,561 小时的训练数据，覆盖 15 种机器人形态，成为目前最大的 ego-to-robot 数据集。研究扩展了 RoboTwin2.0，引入解耦扰动轴，涵盖视觉外观、场景布局、形态和任务语义。实验表明，在 Ego2Robot 合成数据和真实机器人数据上联合预训练，能持续提升多种扰动下的分布外泛化能力。
Ego2Robot 的核心在于将人类第一人称视频通过动作重定向和视觉合成转化为机器人可用的训练数据，并引入多级质量筛选机制。其规模（18,561 小时）和形态覆盖（15 种）为视觉-语言-动作模型提供了大规模预训练数据来源。联合预训练策略在分布外泛化上的提升，暗示合成数据与真实数据的混合训练可能成为提升机器人策略泛化能力的关键路径。
该工作表明，利用海量人类视频数据合成机器人训练数据，可能缓解机器人演示数据稀缺的瓶颈，推动机器人操作策略的规模化训练。这或将对机器人数据采集和标注产业产生深远影响，降低数据获取成本，加速机器人技能的泛化。
Ego2Robot 提供了一种低成本、大规模生成机器人训练数据的方法，可能降低机器人公司的数据采集成本，加速机器人技能的开发和部署。对于机器人硬件和软件供应商，这可能带来新的数据服务或工具链需求，推动机器人数据合成工具和平台的商业化。
未来，Ego2Robot 流水线可能进一步扩展至更多机器人形态和任务，并与其他数据合成方法结合。其质量筛选机制和联合预训练策略的优化，可能成为机器人基础模型训练的标准范式。可验证的下一信号是：该数据集或流水线是否被后续研究广泛采用，以及是否在真实机器人部署中展现出更强的泛化能力。