跳到正文
arXiv Artificial Intelligence· Xianliang Yang, Yapu Zhang, Li Zhao·· 19 小时前AI 评分22

GraphDecisionBench:在图表任务上评测 System One 模型

GraphDecisionBench: Benchmarking System One Models on Graph Tasks

AI 导读

研究者提出 GraphDecisionBench,一个与模型无关的基准,通过结构任务画像、匹配的图-文本输入对照和启发式提案控制来诊断图决策表现。该基准评测了 Jev 等基于选择的模型及语言模型基线,覆盖十四种模型-接口配置,结果显示准确识别邻接关系并不保证更广的结构正确性,图-文本联合输入也未持续提升预测。代码与汇总结果已公开。

来源:arXiv Artificial Intelligence · arxiv.org