LAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-training
LAION-BVD 是一个大规模开放视频数据集，包含从 CommonCrawl 收集的 1.3B 平台特定视频 URL，下载了 80M 个视频，总时长 1000 万小时。该数据集用于视频、音频和图像模态的多模态预训练，通过内容感知场景检测提取片段并合成视频和音频字幕。基于该数据集训练的模型在标准视频-文本和音频-文本基准上表现有竞争力，且随训练或模型规模增加而持续改进。此外，提取的场景变化帧作为图像-文本数据源，其视觉分布与标准网络图像语料库不同，训练的模型在图像-文本检索上表现强劲。数据集已向研究社区发布。
Development
- First ReportLAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-trainingHugging Face Daily Papers
- Industry ResponseLAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-trainingarXiv cs.AI
- Current AssessmentLAION-BVD 的发布可能降低多模态预训练的数据门槛，使更多研究机构能够参与视频-语言模型研究。其开放性和规模可能推动视频理解领域的进展，并可能影响商业模型的数据策略。Agent Pulse · analysis
LAION-BVD 是一个大规模开放视频数据集，包含 1.3B 个平台特定视频 URL，下载了 80M 个视频，总时长 1000 万小时。该数据集用于多模态预训练，覆盖视频、音频和图像模态。通过内容感知场景检测提取片段，并合成视频和音频字幕。基于该数据集训练的模型在标准视频-文本和音频-文本基准上表现有竞争力，且随训练或模型规模增加而持续改进。此外，提取的场景变化帧作为图像-文本数据源，其视觉分布与标准网络图像语料库不同，训练的模型在图像-文本检索上表现强劲。数据集已向研究社区发布，显著扩展了开放多模态视频的访问规模。
该数据集利用 CommonCrawl 收集 1.3B 视频 URL，下载 80M 视频，总时长 1000 万小时，规模空前。通过内容感知场景检测提取片段，并合成字幕，可能采用类似 BLIP 的方法。场景变化帧作为图像-文本数据源，其分布与标准网络图像不同，可能提供互补的视觉信息。模型性能随规模提升，表明数据质量有效。
LAION-BVD 的发布可能降低多模态预训练的数据门槛，使更多研究机构能够参与视频-语言模型研究。其开放性和规模可能推动视频理解领域的进展，并可能影响商业模型的数据策略。
该数据集可能降低视频多模态模型的研发成本，使中小团队能够进行大规模预训练。对于视频内容平台，可能提供更丰富的训练数据，提升视频理解能力，从而改善推荐、搜索等应用。
后续可关注该数据集在社区中的采用情况，以及基于它训练的模型在更多基准上的表现。也可能出现基于该数据集的衍生工作，如更高效的预训练方法或针对特定任务的微调。