跳到正文
arXiv Computer Vision· Yuqi Xiong, Chunyi Peng, Zhipeng Xu, Qing Yang, Zhenghao Liu, Zulong Chen, Yu Gu, Ge Yu·· 2 小时前AI 评分24

SCOPED:面向统一视觉语言模型的技能解耦同策略专家蒸馏

Skill-Decoupled On-Policy Expert Distillation for Unified Vision-Language Models

AI 导读

研究提出 SCOPED,通过训练能力专属专家并经奖励引导反思提取显式技能,在同策略蒸馏中由技能指导专家监督、但不提供给统一学生模型,使其在推理时无需显式技能即可内化过程性知识。在八个多模态基准上,SCOPED 持续优于骨干模型与混合能力 RL。分析显示联合优化能力存在干扰,技能增强可带来更一致的专家轨迹与对任务相关视觉证据的更多关注。代码与数据已公开。

来源:arXiv Computer Vision · arxiv.org