跳到正文
arXiv Computer Vision· Bowen Yang, Kaiming Jin, Zichen Ding, Zhenyu Wu, Zehao Li, Zhoumianze Liu, Kanzhi Cheng, Fangzhi Xu, Yanan Sun, Qiushi Sun, Yu Qiao·· 2 小时前AI 评分54

OS-Helix:在原生计算机智能体中统一 GUI 交互与代码执行

OS-Helix: Unifying GUI Interaction and Code Execution in Native Computer-Using Agents

AI 导读

OS-Helix 是一个端到端训练的多模态计算机使用智能体,把 GUI 操作与代码执行统一到同一动作空间。作者提出 application-artifact composition 与解耦的指令/评估器生成流程来构造可验证的混合监督数据,并用 SFT 冷启动加在线 RL 训练,RL 阶段采用按动作步聚合重要性权重的 Step-balanced GSPO。

来源:arXiv Computer Vision · arxiv.org