跳到正文
arXiv Artificial Intelligence· Yusheng Zhao, Bowei He, Xue Liu, Mingxiao Li·· 17 小时前AI 评分38

SciGame:让智能体在真实与反事实世界中玩科学发现游戏

SciGame: Let Agents Play the Scientific Discovery Games in the Real and Counterfactual World

AI 导读

SciGame 是一个将科学文献转化为结构化科学卡片的受控基准,每张卡片生成 Original 与维度一致的反事实环境,并含经典定律的历史集与模型知识截止后论文的 Temporal 集。在五个前沿模型上的实验显示:熟悉先验在支配关系被改变后会损害表现,自适应实验只帮助最强模型、在有限预算下反而拖累较弱模型,且好的解释可能掩盖定量失败。恢复精确符号形式仍是主要瓶颈。

来源:arXiv Artificial Intelligence · arxiv.org