When and Where to Look: Adaptive Visual Evidence Scheduling for Efficient Long Video Understanding
EcoFrame 是一个无需训练的框架，用于长视频理解中的自适应视觉证据调度。它利用 VLM 的推理反馈，通过熵门控预算调度决定何时增加帧预算，通过注意力引导的候选提议决定在哪里搜索额外证据。在 Video-MME、LongVideoBench 和 MLVU 上，EcoFrame 在多个 VLM 骨干上实现了更好的准确率-效率权衡。
Development
- First ReportWhen and Where to Look: Adaptive Visual Evidence Scheduling for Efficient Long Video UnderstandingarXiv cs.AI
- Current Assessment长视频理解是 VLM 应用的关键场景，但计算成本高昂。EcoFrame 通过自适应调度显著降低了推理成本，可能推动视频理解在实时监控、内容审核等场景的落地。其无需训练的特性意味着可以快速集成到现有系统中，加速商业化进程。Agent Pulse · analysis
EcoFrame 提出了一种无需训练的自适应视觉证据调度方法，用于高效的长视频理解。现有方法依赖静态的一次性选择，固定帧预算和候选池，而基于代理的调度器通过多轮推理实现自适应性但成本高。EcoFrame 利用 VLM 的推理反馈：熵门控预算调度根据输出不确定性决定是否提前停止或逐步扩大帧预算；注意力引导的候选提议将帧级注意力转化为时间先验，在信息丰富的区域进行密集局部搜索，同时在注意力分散时保持全局覆盖。实验在 Video-MME、LongVideoBench 和 MLVU 上验证，在多个 VLM 骨干上取得了更好的准确率-效率权衡。
EcoFrame 的核心创新在于将推理反馈（熵和注意力）用于调度，而非仅用于答案生成。熵门控允许模型在证据不足时动态增加帧预算，避免了固定预算的浪费或不足。注意力引导的候选提议利用注意力分布作为时间先验，实现了局部搜索与全局覆盖的平衡。这种无需训练的方法可以即插即用地应用于现有 VLM，降低了部署成本。
长视频理解是 VLM 应用的关键场景，但计算成本高昂。EcoFrame 通过自适应调度显著降低了推理成本，可能推动视频理解在实时监控、内容审核等场景的落地。其无需训练的特性意味着可以快速集成到现有系统中，加速商业化进程。
EcoFrame 降低了长视频理解的推理成本，提升了效率，对于视频处理相关的企业（如视频平台、安防监控）具有直接价值。其无需训练的特点降低了采用门槛，可能加速 VLM 在视频场景的落地，带来成本节约和性能提升。
下一步可验证的信号包括：EcoFrame 在更多 VLM 骨干上的泛化能力，以及在更长视频（如小时级）上的表现。此外，其调度策略能否扩展到其他模态（如音频）或任务（如视频问答）值得关注。