Select, Compress, Reinvest: A Controlled Study of Visual-Token Allocation in Long-Video MLLMs
arXiv 论文 2609.03820 研究长视频多模态大模型中视觉 token 的分配策略。作者固定帧选择器、提示边界、分辨率策略和回答模型，逐一改变选择、空间压缩和再投资三个决策，在六个免训练选择规则、三个长视频基准和两个回答模型上对比。结果显示，在 LongVideoBench 小时级分桶上，8 个查询选择的帧比 16 个均匀间隔的帧高 6.9 分；未修改的 OMP 算法在所有基准上与专用选择器相当或差距在 1 分以内。将每帧空间预算减半最多损失 0.44 分。
Development
- First ReportSelect, Compress, Reinvest: A Controlled Study of Visual-Token Allocation in Long-Video MLLMsHugging Face Daily Papers
- Industry ResponseSelect, Compress, Reinvest: A Controlled Study of Visual-Token Allocation in Long-Video MLLMsarXiv cs.CL
- Current Assessment长视频理解模型在成本约束下，帧选择策略可能成为新的优化点。OMP 等经典算法的竞争力可能降低专用选择器的研发投入门槛，推动更高效的视频处理方案。Agent Pulse · analysis
该论文对长视频多模态大模型中的视觉 token 分配进行了受控研究。作者指出，长视频模型无法处理每一帧，系统只保留固定的小切片，而帧的选择通常被视为预处理细节。为公平比较，他们固定帧评分器、提示边界、分辨率策略和回答模型，每次只改变一个决策：选择、空间压缩和再投资。在六个免训练选择规则、三个基准和两个模型上，选择是最大的杠杆：在 LongVideoBench 小时级分桶上，8 个查询选择的帧比 16 个均匀间隔的帧高 6.9 分。OMP 算法作为未修改的经典稀疏近似算法，与所有专用选择器相当或差距在 1 分以内。压缩几乎免费：将空间预算减半最多损失 0.44 分。再投资将节省的预算转化为准确性。
该研究将帧选择从预处理细节提升为关键决策，并表明经典算法 OMP 在帧选择上可与专用方法匹敌，暗示现有选择器可能过度设计。压缩成本极低，提示可通过空间压缩节省预算并再投资于更多帧或更高分辨率。
长视频理解模型在成本约束下，帧选择策略可能成为新的优化点。OMP 等经典算法的竞争力可能降低专用选择器的研发投入门槛，推动更高效的视频处理方案。
对视频理解产品，帧选择策略可显著提升准确率而不增加推理成本，OMP 的简单性可能降低实现门槛，加速商业化落地。
后续可验证信号：其他团队是否在长视频模型中将帧选择作为可学习组件，或 OMP 是否被集成到主流框架。