arXiv Artificial Intelligence· Jiarui Tan, Zhongjian Zhang, YaBo Guo, Jiawei Liu, Yujie Xing, Muhan Zhang, Cheng Yang, Chuan Shi·· 13 小时前AI 评分36
GABench：评估 LLM 智能体图分析任务的综合基准
GABench: A Comprehensive Benchmark for Evaluating LLM Agents on Graph Analysis Tasks
AI 导读
GABench 是面向 LLM 智能体图分析能力的综合基准，覆盖三类图和四类任务（图检索、图论、图机器学习、图开放式问答），并提供 84 个可执行工具与 10,400 个可验证任务。对多种前沿 LLM 与智能体框架的评测显示，现有智能体在复杂图分析任务上仍表现吃力，框架选择显著影响性能，且图分析更依赖工具调用质量而非数量。
推荐理由模型分析
GABench 把图分析评测从“提示里直接给图、文本问答”改为让智能体通过 84 个可执行工具访问图数据并完成操作，覆盖三类图和检索、图论、图机器学习、开放式问答四类任务，共 10,400 条可验证任务。对做 Agent 评测与工具调用的开发者，它提供了可比较的端到端基线，并给出“harness 选择影响显著、工具调用质量比数量更关键”的观察。结论限于该基准与所测前沿模型，尚不能外推到真实生产图分析场景。
来源：arXiv Artificial Intelligence · arxiv.org