跳到正文
arXiv Artificial Intelligence· Jingyu Tang, Xu Yang, Zhehao Zhang, Zheng Wang, Qi Cheng, Haozhe Zhao, Manling Li, Wenxuan Li, Xide Xia, Jiaxin Pei·· 2 小时前AI 评分31

Realtime-Bench:前沿模型能否解决实时交互问题?

Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems?

AI 导读

研究团队推出 Realtime-Bench,用延迟动作会直接影响成败的动态任务评测前沿模型的实时交互能力。在按实际推理延迟推进环境的 Wall Clock 下,最佳成功率仅 44%,最佳 Pass^3 仅 36%。研究还对比移除推理延迟的 Paused Clock 与按生成 token 数推进模拟时间的 Token Clock,发现时间成本制约动态环境中的成功率,提高推理投入在时间压力下效果不一。

来源:arXiv Artificial Intelligence · arxiv.org