EndoVLM: An Endoscopy Vision-Language Pre-training Model via Anatomy-Guided Sparsity and Progressive Alignment
EndoVLM 是一个内窥镜视觉-语言基础模型，在超过 34.8 万次内窥镜检查（每次检查配一份临床报告和对应图像集）上预训练。它用解剖引导的稀疏池化机制，以文本描述为查询驱动稀疏注意力，从冗余图像集中聚合语义显著帧，形成解剖特异的视觉表示；再用渐进语义感知对齐策略，通过结构化软目标建模临床分类（解剖和病理状态），从全局患者级匹配过渡到细粒度局部对齐；最后用语义集中的掩码自编码器。论文发表于 arXiv（2608.04472v1）。
发展脉络
- 首次出现EndoVLM: An Endoscopy Vision-Language Pre-training Model via Anatomy-Guided Sparsity and Progressive AlignmentarXiv cs.CL
- 当前判断该研究反映了医学影像基础模型从单模态自监督向多模态语义对齐演进的趋势。通过利用临床报告，模型能学习更丰富的语义表示，可能提升下游任务（如病变检测、解剖结构识别）的性能。这或推动内窥镜 AI 产品从辅助工具向更智能的诊断支持发展。可验证的下一信号是：该模型是否被集成到商业内窥镜系统中，或是否有后续工作扩展到其他医学影像模态。Agent Pulse · 分析
EndoVLM 是一个针对内窥镜图像分析的基础模型，其核心创新在于利用临床报告中的语义知识来弥补现有内窥镜基础模型仅依赖单模态图像或视频自监督学习的不足。该模型在超过 34.8 万次内窥镜检查上预训练，每次检查包含一份临床报告和对应的图像集合。模型采用解剖引导的稀疏池化机制，以文本描述为查询驱动稀疏注意力，从高冗余、未整理的视觉流中高效聚合语义显著的帧，生成解剖特异的视觉表示。随后，渐进语义感知对齐策略通过结构化软目标建模临床分类（解剖和病理状态），将全局患者级匹配逐步过渡到细粒度局部对齐。最后，语义集中的掩码自编码器进一步强化表示。该方法旨在解决结构化解剖描述与特定帧之间的模态鸿沟，提升内窥镜图像分析的准确性。
EndoVLM 的关键技术在于用文本查询驱动稀疏注意力，从冗余图像集中选择语义相关帧，这避免了传统方法对全部帧的均匀处理，降低了计算开销并提升了表示质量。渐进对齐策略从全局到局部逐步细化，利用临床分类的结构化软目标，使模型能捕捉细粒度的解剖和病理特征。这种设计可能对多模态基础模型在医学影像领域的应用有启发，尤其是处理长序列、高冗余数据时。可验证的下一信号是：模型在公开内窥镜基准上的定量结果，以及与其他内窥镜基础模型的对比。
该研究反映了医学影像基础模型从单模态自监督向多模态语义对齐演进的趋势。通过利用临床报告，模型能学习更丰富的语义表示，可能提升下游任务（如病变检测、解剖结构识别）的性能。这或推动内窥镜 AI 产品从辅助工具向更智能的诊断支持发展。可验证的下一信号是：该模型是否被集成到商业内窥镜系统中，或是否有后续工作扩展到其他医学影像模态。
EndoVLM 可能提升内窥镜 AI 诊断的准确性和效率，对医疗影像公司有潜在价值。若模型能商业化，可降低内窥镜检查的漏诊率，并辅助医生决策。可验证的下一信号是：是否有公司采用该模型或进行临床合作。
未来，EndoVLM 可能扩展到更多医学影像模态（如病理、放射），并探索更高效的稀疏注意力机制以处理超长序列。其渐进对齐策略或可应用于其他多模态任务，如视频理解。可验证的下一信号是：模型代码或预训练权重是否开源，以及是否有临床验证研究。