跳到正文
arXiv Robotics· Sungwon Moon, Minji Kim, Hyemin Boo, Daeun Song, Jiyoung Lee·· 13 小时前AI 评分32

ActPrune:面向高效视觉-语言-动作模型的动作锚定视觉 token 剪枝

ActPrune: Action-Grounded Visual Token Pruning for Efficient Vision-Language-Action Models

AI 导读

ActPrune 是一种免训练的视觉 token 剪枝方法,把剪枝决策提前到视觉编码器之前,用上一步预测的动作块作为几何先验。该方法在第三人称视角保留末端执行器投影轨迹上的 patch 与语义锚点,在腕部视角剪掉补偿相机运动后仍不变的 patch。在 LIBERO、VLABench 两个仿真环境和四个真实机器人任务上,它实现最高 1.61 倍加速、59.5% FLOPs 降低,成功率下降可忽略。

推荐理由模型分析

该工作把视觉 token 剪枝的决策提前到视觉编码器之前,利用上一步动作块预测的末端与相机运动作为几何先验,并按第三人称与腕部视角分别保留轨迹、语义锚点和剔除补偿后不变的 patch。对做 VLA 机器人闭环控制的开发者,它提供了免训练、可直接叠加的加速基线:两个仿真环境和四个真机任务上最高 1.61 倍加速、FLOPs 降 59.5%,成功率下降可忽略。适用前提是已有上一步动作预测且相机配置固定,效果证据限于所测任务与硬件。

来源:arXiv Robotics · arxiv.org