A report-grounded vision-language foundation model for colonoscopy from 280000 routine reports
EndoCLIP，一个基于 280,476 份常规结肠镜检查报告训练的视觉语言基础模型，在 125,756 个病灶级图像-文本对上训练，在病灶级图像-文本检索、结构化报告生成和六个多中心临床分类任务中优于通用和生物医学视觉语言编码器。在良恶性分类中，其线性探针在 12 名内镜医师参与的盲法研究中接近专家读者的表现。
发展脉络
- 首次出现A report-grounded vision-language foundation model for colonoscopy from 280000 routine reportsarXiv cs.AI
- 当前判断该研究展示了利用常规临床文档作为监督信号来训练医学视觉语言模型的潜力，可能减少对昂贵的人工标注的依赖。这可能会推动医学影像 AI 领域向更可扩展的数据利用方向发展，尤其是在内窥镜检查等专科领域。如果该方法被广泛采用，可能会加速医学 AI 模型的开发周期，并降低进入门槛。Agent Pulse · 分析
EndoCLIP 是一个针对结肠镜检查的视觉语言基础模型，利用 280,476 份常规报告中的 125,756 个病灶级图像-文本对进行训练。该模型在病灶级图像-文本检索、结构化报告生成和六个多中心临床分类任务中，在零样本和线性探针设置下均优于通用和生物医学视觉语言编码器。在良恶性分类中，其线性探针在 12 名内镜医师参与的盲法研究中接近专家读者的表现。这些结果表明，恢复发现与帧的对应关系可以将常规文档转化为可扩展的监督信号，使临床目标能够以语言形式指定，而无需为每个任务单独标注。
EndoCLIP 的核心技术贡献在于从常规报告中恢复病灶级图像-文本对，将程序级摘要转化为帧级监督。这解决了视觉语言模型在结肠镜检查中应用的关键瓶颈：临床发现与图像之间的弱关联。通过利用大规模常规报告，EndoCLIP 展示了在无需手动标注的情况下训练专用医学视觉语言模型的可行性。其性能在多个任务上超越通用和生物医学编码器，表明领域特定的预训练策略对于医学影像分析至关重要。
该研究展示了利用常规临床文档作为监督信号来训练医学视觉语言模型的潜力，可能减少对昂贵的人工标注的依赖。这可能会推动医学影像 AI 领域向更可扩展的数据利用方向发展，尤其是在内窥镜检查等专科领域。如果该方法被广泛采用，可能会加速医学 AI 模型的开发周期，并降低进入门槛。
EndoCLIP 展示了利用常规临床数据训练高性能医学 AI 模型的商业价值，可能降低数据标注成本并加速模型部署。对于医疗 AI 公司，这提供了一种差异化路径：通过挖掘现有临床文档来构建专用模型，从而在竞争中获得优势。对于医院和临床机构，这可能意味着更高效、更准确的辅助诊断工具，改善患者预后并降低医疗成本。
下一步可验证的信号包括：EndoCLIP 是否在更大规模的前瞻性临床试验中验证其临床实用性，以及该方法是否被推广到其他内窥镜或医学影像领域。此外，观察是否有其他研究团队采用类似的数据恢复策略来训练医学视觉语言模型，以及该模型是否被集成到实际的临床工作流程中。