arXiv Artificial Intelligence· Joungbin An, Kristen Grauman·· 13 小时前AI 评分31
AdaAlloc：面向长视频问答的自适应视觉 token 分配
AdaAlloc: Adaptive Visual Token Allocation for Long-Video Question Answering
AI 导读
AdaAlloc 是一个免训练的推理框架，在固定视觉 token 预算下自适应地在全局视频概览与高分辨率局部细节之间分配 token，并用时序定位筛选候选证据片段、精炼为紧凑时序记忆。在 LVBench、MLVU、VideoMME 和 LongVideoBench 上，它比同等预算的均匀采样最高提升 10.5 个百分点，并优于所对比的帧选择与智能体方法。该工作已被 NeurIPS 2026 接收。
推荐理由模型分析
AdaAlloc 把长视频问答中的视觉 token 预算分配作为核心问题，提出免训练推理框架，在全局概览与高分辨率局部证据之间自适应分配，并用时间定位筛选候选片段。在 LVBench、MLVU、VideoMME、LongVideoBench 上，相比同等预算的均匀采样最多提升 10.5 个百分点，也优于所比较的帧选择与 agentic 方法。适合多模态模型开发者参考其预算分配与采样策略，但结论限于上述基准与固定 token 预算条件。
来源：arXiv Artificial Intelligence · arxiv.org