CARVE: Cross-Slice Anisotropic Reallocation of Visual Evidence for Efficient 3D Medical Volume Understanding
CARVE 是一个无需训练的框架，用于在 LLM 推理前压缩 3D 医学体积的视觉 token。它将 token 缩减视为预算受限的 2.5D 分配，沿深度轴划分窗口，并根据归一化的跨切片证据非均匀分配 token。在 3D 医学 VQA 基准上的缩放分析显示，增加 token 预算会导致收益递减：成本上升而准确率饱和，且在可比预算下提高面内分辨率比增加切片更有效。
发展脉络
- 首次出现CARVE: Cross-Slice Anisotropic Reallocation of Visual Evidence for Efficient 3D Medical Volume UnderstandingarXiv cs.CL
- 当前判断该研究揭示了 3D 医学影像理解中 token 预算的收益递减，表明单纯增加计算资源并非提升性能的有效途径，而更智能的 token 分配可能成为新的优化方向。这或促使医学影像 AI 产品重新评估其模型设计，从追求更大模型转向更高效的 token 利用。可验证的下一信号：是否有商业产品采用类似 token 压缩技术来降低推理成本。Agent Pulse · 分析
基于切片的 MLLM 通过将 3D 体积表示为 2D 切片序列来利用成熟的 2D 编码器，但这种方式会产生数千个视觉 token，其中许多在相邻切片间包含重叠的视觉证据，给 LLM 骨干带来负担。研究者对两个 3D 医学 VQA 基准进行了缩放分析，发现随着视觉 token 预算增长，性能提升呈现收益递减：成本持续上升而准确率趋于饱和，且在可比预算下提高面内分辨率比增加切片更有效。因此，预算应更选择性地分配而非简单扩大，但大多数 token 压缩方法是为 2D 图像或视频设计的，其冗余源于空间布局或时间运动，而非深度轴上的近重复内容。为此，他们提出 CARVE，一个无需训练的框架，在 LLM 推理前压缩视觉 token，并将 token 缩减视为预算受限的 2.5D 分配。CARVE 将深度轴划分为连贯窗口，并根据归一化的跨切片证据非均匀分配 token。在共享预算下，CARVE 在保持性能的同时显著减少了 token 数量。
CARVE 的核心洞察是 3D 医学体积中的视觉冗余主要沿深度轴，而非空间或时间维度，因此现有 2D/视频压缩方法不适用。其将 token 缩减形式化为预算受限的 2.5D 分配，通过跨切片证据归一化实现非均匀分配，这为多模态 LLM 的 token 压缩提供了新思路。可验证的下一信号：CARVE 是否能在其他 3D 任务（如分割或检测）中推广，以及其压缩率与性能权衡的详细基准。
该研究揭示了 3D 医学影像理解中 token 预算的收益递减，表明单纯增加计算资源并非提升性能的有效途径，而更智能的 token 分配可能成为新的优化方向。这或促使医学影像 AI 产品重新评估其模型设计，从追求更大模型转向更高效的 token 利用。可验证的下一信号：是否有商业产品采用类似 token 压缩技术来降低推理成本。
对于医学影像 AI 公司，CARVE 可显著降低推理成本，同时保持模型性能，从而提升产品竞争力。对于云服务提供商，该技术可减少 GPU 资源消耗，降低服务成本。可验证的下一信号：是否有公司采用 CARVE 或类似技术并报告成本节省。
CARVE 作为无需训练的方法，可即插即用于现有基于切片的 MLLM，有望在医学影像分析中快速落地。未来可能看到更多针对 3D 数据的 token 压缩方法出现，并可能扩展到其他体积数据领域。可验证的下一信号：CARVE 是否被集成到主流医学影像分析框架或工具中。