跳到正文
arXiv Computer Vision· Seungjun Yu, Hojun Choi, Seojeong Park, Jaeyo Shin, Hyunjung Shim·· 20 小时前AI 评分30

Latent World Action Model:面向 GUI 智能体的潜空间世界动作模型

Latent World Action Model for GUI Agents

AI 导读

研究提出 Latent World Action Model,将 GUI 世界模型的预测目标从全屏像素重建改为潜空间中的动作诱发未来信息,用大型多模态模型共享表征驱动动作选择与预测转移两个专用头,并引入动作感知对比目标缓解身份捷径问题。在离线与在线 GUI 设置中,该方法成功率相对像素空间世界模型分别最高提升 31.9% 和 40.6%,推理延迟最高降低 98.9%。代码已公开。

来源:arXiv Computer Vision · arxiv.org