EgoPlay: Event-Triggered Video Editing for Egocentric Streams
EgoPlay 是一个事件触发的视频到视频编辑器，用于第一人称视频流。它通过微调预训练的 V2V 扩散 transformer，在事件条件数据上训练，数据主要来自 Ego4D。给定单目视频和事件触发提示（如“当 X 发生时，做 Y”），EgoPlay 推断事件 X 是否发生及何时发生，保留事件前帧，仅对事件后部分应用编辑 Y。它联合学习事件识别、时间约束和像素级编辑，而非级联单独的事件检测器和编辑器，并处理负提示和多事件提示。为此，构建了包含 106K 个事件触发片段-提示对的数据集，涵盖正触发、伪造触发负样本和多事件提示。训练了一个双向视频扩散编辑器，并推导出因果变体用于分块流式推理。引入事件感知评估协议，分别衡量触发后编辑质量、触发前保留和假触发鲁棒性。在 Ego4D 基准上，EgoPlay 取得了显著成果。
发展脉络
- 首次出现EgoPlay: Event-Triggered Video Editing for Egocentric StreamsarXiv cs.AI
- 当前判断EgoPlay 展示了视频编辑领域向事件驱动和流式处理发展的趋势。通过联合建模事件识别和编辑，它避免了级联系统的错误传播，可能提高编辑的准确性和效率。构建大规模事件触发数据集的方法可能推动更多研究。Agent Pulse · 分析
EgoPlay 是一种事件触发的视频到视频编辑器，专为第一人称视频流设计。它通过微调预训练的 V2V 扩散 transformer，在事件条件数据上训练，数据主要来自 Ego4D。给定单目视频和事件触发提示（如“当 X 发生时，做 Y”），EgoPlay 推断事件 X 是否发生及何时发生，保留事件前帧，仅对事件后部分应用编辑 Y。与级联单独的事件检测器和编辑器不同，EgoPlay 在单个端到端模型中联合学习事件识别、时间约束和像素级编辑，同时处理负提示和多事件提示。为此，构建了一个包含 106K 个事件触发片段-提示对的大规模数据集，涵盖正触发、伪造触发负样本和多事件提示。训练了一个双向视频扩散编辑器，并推导出因果变体用于分块流式推理。引入事件感知评估协议，分别衡量触发后编辑质量、触发前保留和假触发鲁棒性。在 Ego4D 基准上，EgoPlay 取得了显著成果。
EgoPlay 的核心创新在于将事件检测与视频编辑联合建模，而非级联。它使用事件条件数据微调预训练的 V2V 扩散 transformer，实现端到端学习。数据集包含 106K 个事件触发片段-提示对，涵盖正触发、伪造触发负样本和多事件提示，这有助于模型学习事件识别和时间约束。双向视频扩散编辑器支持事件触发监督，因果变体支持流式推理。事件感知评估协议分别衡量触发后编辑质量、触发前保留和假触发鲁棒性，提供了更细粒度的评估。
EgoPlay 展示了视频编辑领域向事件驱动和流式处理发展的趋势。通过联合建模事件识别和编辑，它避免了级联系统的错误传播，可能提高编辑的准确性和效率。构建大规模事件触发数据集的方法可能推动更多研究。
EgoPlay 可能应用于第一人称视频的自动编辑，如智能眼镜或运动相机录制的视频。它可能降低视频编辑成本，提高效率，并支持实时编辑。
未来，EgoPlay 可能扩展到更复杂的视频编辑任务，如多事件交互或长视频流。其流式推理能力可能应用于实时视频编辑场景。事件感知评估协议可能成为标准。