跳到正文
arXiv Computer Vision· Zecong Tang, Zian Guan, Yuncheng Guo, Zhanqiu Zhang, Yiwen Guo, Bo Dai·· 3 小时前AI 评分38

HiSTEVE 1.0:用面向原生界面的 VLA 智能体玩转开放世界游戏

HiSTEVE 1.0: Harnessing Human-Interface VLA Agents for Open-World Games

AI 导读

HiSTEVE 是一个分层 VLA 智能体,通过能力感知的 agent harness 在 Minecraft 中实现原生键鼠控制与长程自主。其编排层用结构化记忆和 VLM 规划器选择子任务,控制层由单个 VLA 以纯视觉感知执行全部子任务,并引入 regime-specific RMSNorm 分支与独立鼠标移动 token 嵌入减少 GUI 与非 GUI 交互干扰。

来源:arXiv Computer Vision · arxiv.org