2026年8月5日 · Evaluating the Diagnostic Robustness of Vision-Language Models
Evaluating the Diagnostic Robustness of Vision-Language Models Under Visual and Textual Perturbations
一项研究使用组织病理学验证的脑MRI数据集，评估了四个视觉语言模型家族在视觉和文本扰动下的诊断鲁棒性。结果显示，在序列反转时预测翻转率高达48.9%，标签重排导致不一致诊断率高达67.8%，移除病灶切片后模型仍生成分类诊断的比例高达76.1%。
EVENT STORY
发展脉络
- 首次出现Evaluating the Diagnostic Robustness of Vision-Language Models Under Visual and Textual PerturbationsarXiv cs.CL
- 当前判断该研究对医疗AI行业具有警示意义：仅依赖准确率指标可能高估模型在临床场景中的可靠性。医疗AI产品在部署前需进行更全面的鲁棒性测试，包括扰动和阴性对照，以确保安全性和可信度。Agent Pulse · 分析
该研究利用脑MRI数据集系统评估了四个视觉语言模型（VLM）家族在保持临床证据不变的情况下的诊断鲁棒性。通过重排解剖切片顺序和交换目标标签位置，研究发现模型在序列反转时预测翻转率高达48.9%，标签重排导致不一致诊断率高达67.8%。阴性对照测试显示，在移除专家标注的病灶切片后，模型仍生成分类诊断的比例高达76.1%，表明模型存在诊断过度承诺。这些结果揭示，高准确率可能掩盖临床可靠性问题，模型对呈现顺序和文本框架的敏感性未被聚合准确率捕获。
该研究揭示了VLM在医学影像诊断中的脆弱性：对输入顺序和标签排列的敏感性导致预测不一致，且模型在缺乏关键证据时仍会生成诊断。这提示当前VLM的推理机制可能依赖表面统计特征而非临床证据，需要开发更鲁棒的评估方法和训练策略。
该研究对医疗AI行业具有警示意义：仅依赖准确率指标可能高估模型在临床场景中的可靠性。医疗AI产品在部署前需进行更全面的鲁棒性测试，包括扰动和阴性对照，以确保安全性和可信度。
对于医疗AI企业，该研究强调了鲁棒性评估的商业价值：通过改进模型对扰动的抵抗力，可降低误诊风险，增强临床信任，从而加速产品采用和监管审批。
未来可期待更多针对VLM鲁棒性的研究，以及开发能够识别证据缺失并拒绝诊断的模型。医疗AI监管可能要求更严格的评估标准，推动模型在关键场景中的可靠性提升。