Why Is Video Still So Expensive? A Survey of Inference-Efficiency Mechanisms in Video and Audiovisual LLMs
一篇题为《Why Is Video Still So Expensive? A Survey of Inference-Efficiency Mechanisms in Video and Audiovisual LLMs》的综述发布，聚焦 VideoLLM 推理效率机制。摘要指出，视频理解已快速转向 VideoLLM，即在视频表示与预训练大语言模型之间耦合、并以文本提示条件化生成的系统；其在字幕、问答、检索和时间定位上表现较强，但计算与内存成本随帧数和上下文长度增长，限制实时、移动与资源受限场景部署。综述覆盖能报告参数量、每输入 FLOPs、延迟、内存或视觉与音频 token 数具体下降的方法，并按帧采样、模态编码、连接器层 token 压缩、LLM 预填充与解码等流水线阶段组织，涵盖 2022 年末以来的 VideoLLM 及更早的帧采样与视觉编码器机制，并在共享宿主模型与输入协议下汇总文献报告的精度—成本对比。
发展脉络
- 首次出现Why Is Video Still So Expensive? A Survey of Inference-Efficiency Mechanisms in Video and Audiovisual LLMsHugging Face Daily Papers
- 行业反馈Why Is Video Still So Expensive? A Survey of Inference-Efficiency Mechanisms in Video and Audiovisual LLMsarXiv cs.CL
- 当前判断若成本确实随帧数与上下文长度增长，视频理解在实时与移动端的部署门槛会长期存在，效率机制可能成为选型时的显性指标。但本条证据仅为综述摘要，未给出具体产品、价格或采用数据，因此不宜推断市场格局变化。可验证下一信号：厂商或开源项目是否在模型卡中披露每输入 FLOPs、延迟与 token 数等成本口径。Agent Pulse · 分析
该综述把 VideoLLM 的成本问题拆到流水线各阶段：帧采样、模态编码、连接器层 token 压缩，以及 LLM 预填充与解码，并只纳入报告了参数量、每输入 FLOPs、延迟、内存或视觉/音频 token 数具体下降的方法。它覆盖 2022 年末以来的 VideoLLM，也纳入仍属当前流水线组件的早期帧采样与视觉编码器机制；在可获得时，按共享宿主模型与输入协议汇总文献报告的精度—成本对比，并与跨论文的异构结果区分。摘要同时指出，成本随帧数与上下文长度增长，是实时、移动与资源受限部署的主要限制。
从摘要看，效率手段被按作用阶段归类，说明优化点分散在采样、编码、token 压缩与解码，而非单一瓶颈；但综述自述需区分共享协议下的对比与跨论文异构结果，意味着当前证据尚不足以断言某类机制普遍占优。可验证下一信号：是否出现按统一宿主模型与输入协议复现的精度—成本表，或公开的 token 数、FLOPs、延迟对照基准。
若成本确实随帧数与上下文长度增长，视频理解在实时与移动端的部署门槛会长期存在，效率机制可能成为选型时的显性指标。但本条证据仅为综述摘要，未给出具体产品、价格或采用数据，因此不宜推断市场格局变化。可验证下一信号：厂商或开源项目是否在模型卡中披露每输入 FLOPs、延迟与 token 数等成本口径。
对需要视频理解能力的团队，该综述提供了按流水线阶段定位成本来源的框架，可用于评估自研或采购方案时的成本口径设计。其价值取决于能否落地为可复现的精度—成本对照，而非直接给出可采购结论。
后续值得观察的是综述所汇总的精度—成本对比能否被独立复现，以及连接器层 token 压缩与解码阶段优化是否被主流 VideoLLM 默认采用。若统一协议下的对照表出现，该领域讨论可能从单点方法转向可比较的成本基准。