跳到正文
arXiv Robotics· Jungin Park, Chaoran Zhu, Changjae Oh, Kwanghoon Sohn·· 5 小时前AI 评分40

SPARK-VLA:面向视觉-语言-动作模型的空间表征蒸馏与知识路由

Spatial Representation Distillation and Knowledge Routing for Vision-Language-Action Models

AI 导读

SPARK-VLA 通过空间表征蒸馏与知识路由,让视觉-语言-动作模型无需推理时外部 3D 输入即可获得空间理解能力。它用冻结 3D 专家向 LoRA 视觉分支迁移 3D 理解,并用轻量知识路由器按动作损失梯度筛选动作相关视觉 token 送入语言模型。在 LIBERO、LIBERO-Plus、CALVIN 和真实机器人操作任务上,仅 0.5B 语言骨干、约 53M 可训练参数即取得强劲表现。

推荐理由模型分析

该研究针对 VLA 模型在推理时依赖显式 3D 输入或单一视觉通路的问题,提出用冻结 3D 专家蒸馏空间表征、再用轻量路由器筛选动作相关视觉 token,从而在不引入外部 3D 输入的情况下获得 3D 感知。仅 0.5B 语言骨干、约 53M 可训练参数,并在 LIBERO、CALVIN 及真机操作上报告结果,可供关注参数高效具身策略的研究者比较基线;真机效果仍限于论文实验条件。

来源:arXiv Robotics · arxiv.org