跳到正文
arXiv Artificial Intelligence· Tidor-Vlad Pricope·· 17 小时前AI 评分40

RetroChessBench:评估大模型重建与证明国际象棋历史的基准

RetroChessBench: A Benchmark for Reconstructing and Proving Chess Histories

AI 导读

研究团队推出 RetroChessBench,一个包含 12 项任务的基准,用于检验模型在回溯国际象棋中重建合法棋史、区分可能事件与必然事件的能力。GPT 6 Astra High 在每项任务两次试验中,无工具时 24 次尝试有 22 次未给出要求的最终答案,启用代码执行后仍有 18 次失败,平均终端 RL 奖励分别为 14.75% 和 27.19%。

来源:arXiv Artificial Intelligence · arxiv.org