Advancing Relevance Measurement with Vision-Language Models for Web-Scale Search
Pinterest 在 arXiv 发布论文，提出基于视觉语言模型（VLM）的自动化相关性评估流水线，用于在线 A/B 实验。论文验证了 VLM 判断与人工标注的一致性，并称该方法提高了评估效率，扩大了查询集，优化了采样设计，降低了最小可检测效应（MDE）。
Development
- First ReportAdvancing Relevance Measurement with Vision-Language Models for Web-Scale SearcharXiv cs.LG
- Current Assessment该工作表明，搜索平台正在探索用 VLM 替代或辅助人工评估，以降低成本并提高实验迭代速度。这可能会影响搜索评估工具链的演进，并推动更多平台采用类似方法。可验证的下一信号是：其他大型搜索或推荐平台是否跟进发布类似的 VLM 评估方案。Agent Pulse · analysis
Pinterest 的研究团队在 arXiv 发表论文，提出了一种基于视觉语言模型（VLM）的自动化相关性评估流水线，用于在线搜索实验。传统的人工标注成本高、周期长，限制了可扩展性。该流水线部署在 Pinterest 搜索中，用于在线 A/B 实验。论文严格验证了 VLM 判断与人工标注的一致性，表明 VLM 能提供可靠的相关性测量，同时大幅提升评估效率。基于 VLM 的标注还支持扩展查询集、优化采样设计，并高效评估更广泛的搜索体验。该方法带来了更高质量的相关性指标，并显著降低了在线实验测量中的最小可检测效应（MDE）。
该工作表明，视觉语言模型（VLM）可以用于自动化相关性评估，其判断与人工标注高度一致。这暗示 VLM 可能具备理解查询与结果之间语义匹配的能力，而不仅仅是视觉理解。技术上的关键点在于如何设计提示和评估协议，使 VLM 的评分与人类判断对齐。可验证的下一信号是：Pinterest 是否公开其评估数据集或提示模板，以便复现。
该工作表明，搜索平台正在探索用 VLM 替代或辅助人工评估，以降低成本并提高实验迭代速度。这可能会影响搜索评估工具链的演进，并推动更多平台采用类似方法。可验证的下一信号是：其他大型搜索或推荐平台是否跟进发布类似的 VLM 评估方案。
对于 Pinterest，该方法降低了评估成本，缩短了实验周期，从而加速搜索产品的迭代。更低的 MDE 意味着可以检测到更小的效果变化，提高实验灵敏度，有助于优化用户体验和业务指标。可验证的下一信号是：Pinterest 是否报告使用该方法后实验迭代速度或指标提升的具体数据。
未来，VLM 可能成为搜索相关性评估的标准工具，并扩展到其他评估任务，如内容质量或个性化。随着 VLM 能力的提升，其评估可靠性可能进一步提高，甚至可能用于实时反馈。可验证的下一信号是：Pinterest 是否将 VLM 评估扩展到更多实验或生产环境。