arXiv Artificial Intelligence· Yuxuan Liu, Zhaochen Su, Hangyu Guo, Shijue Huang, Zhixiong Zhang, Kawai Chung, Zhongwei Xie, Tianshi Zheng, Wei Fan, Qing Zong, Haochen Shi, Baixuan Xu, Haoran Li, Yangqiu Song·· 18 小时前AI 评分38
SkillHorizon:通过技能组合构建长时程智能体任务
SkillHorizon: Constructing Long-Horizon Agent Tasks through Skill Composition
AI 导读
研究者提出 SkillHorizon 基准,通过技能组合在七种商业环境中构建长时程智能体任务,用输入输出依赖、共享资源和状态更新串联业务活动。在 1,050 个任务上评测五个语言模型,参考交互负载从 64K 到 1M tokens,平均局部目标完成率从 90.4% 降至 46.8%。负载较大时智能体更常在工作未完成且工具调用额度仍有剩余时提交失败答案。
来源:arXiv Artificial Intelligence · arxiv.org