跳到正文
arXiv Artificial Intelligence· Ningxin Pan, Hanyu Li, Yeqing Shen, Ning Ding, Yehui Tang, Wentao Zhang·· 2 小时前AI 评分41

在实时时钟下评估与教学智能体:RealtimeBench 与 TORSI

The World Won't Wait: Evaluating and Teaching Agents Under a Live Clock

AI 导读

研究提出 RealtimeBench,包含六类游戏共 180 个任务,在游戏持续运行、推理仍在进行时评估 LLM 智能体。配对评测显示,GPT-6.1-sol 在游戏暂停时优于更快的 Jev,但游戏持续运行时落后。为此提出的 TORSI 让慢速教师在两轮中把 Jev 的平均测试分从 13.51 提升到 24.19(0–100 进度分),六类游戏全部改善,且无需重新调优即可提升另外三个模型的平均分。

来源:arXiv Artificial Intelligence · arxiv.org