Anatomy Contextualized Adaption of CT Foundation Models
ACA 是一种轻量级框架，通过 TotalSegmentator 将 CT 体积分解为解剖级嵌入，利用 transformer 捕捉跨解剖关系，并与放射学报告中的解剖级和扫描级文本对齐，在 Merlin 和 CT-RATE 上零样本分类优于冻结基础模型和现有细粒度方法，训练时间少于 1 小时。
Development
- First ReportAnatomy Contextualized Adaption of CT Foundation ModelsarXiv cs.AI
- Current AssessmentACA 表明，在医学影像领域，利用冻结基础模型进行轻量级适应可能成为趋势，降低计算成本并提升细粒度任务性能。这或推动更多研究聚焦于高效适应方法，而非从头训练大型模型。可验证的下一信号：是否有更多医学影像基础模型采用类似适应策略。Agent Pulse · analysis
CT 视觉语言基础模型在下游任务中表现良好，但通常使用全卷表示，稀释了细粒度解剖信号。细粒度视觉语言预训练通过对齐解剖级视觉特征与解剖特定文本解决此问题，但丢弃了全局上下文，且现有方法从头训练，计算成本高。ACA 提出轻量级框架，适应冻结的 CT 基础模型表示，实现解剖级视觉语言对齐并增强全局上下文。ACA 使用 TotalSegmentator 将 CT 体积分解为解剖级嵌入，通过 transformer 细化并捕捉跨解剖关系，与放射学报告中的解剖级和扫描级文本对齐。在 Merlin 和 CT-RATE 上，ACA 在零样本发现分类中持续优于冻结基础模型基线和现有细粒度方法，训练时间少于 1 小时。
ACA 的核心创新在于利用冻结的 CT 基础模型，通过 TotalSegmentator 分解解剖级嵌入，并用 transformer 建模跨解剖关系，同时对齐解剖级和扫描级文本，实现轻量级适应。这避免了从头训练的计算开销，同时保留了全局上下文。可验证的下一信号：ACA 是否能在更多 CT 数据集上复现，以及其训练时间是否随数据规模线性增长。
ACA 表明，在医学影像领域，利用冻结基础模型进行轻量级适应可能成为趋势，降低计算成本并提升细粒度任务性能。这或推动更多研究聚焦于高效适应方法，而非从头训练大型模型。可验证的下一信号：是否有更多医学影像基础模型采用类似适应策略。
ACA 的低训练成本（<1 小时）和零样本能力可降低医学影像 AI 的部署门槛，加速产品化。对医疗 AI 公司而言，采用此类方法可快速适应新任务，减少标注成本，提升竞争力。
ACA 可能促进 CT 基础模型在临床场景中的实际应用，如零样本发现分类，减少对大量标注数据的依赖。未来或出现更多结合解剖上下文与全局信息的模型，提升医学影像分析的准确性和效率。