arXiv Artificial Intelligence· Rui Wang, Zishen Lai, Jiayu Liu, Cheng Qian, Jeonghwan Kim, Heng Wang, Xuejun Zhang, Jiateng Liu, Bingxuan Li, Shujin Wu, Qing Zong, Tianshi Zheng, Chunyang Li, Qihan Lin, Chen Li, Dadi Guo, Xiusi Chen, Yangqiu Song·· 2 小时前AI 评分38
AdaExploreBench：评测 LLM 智能体在演化环境中的主动探索与测试时适应
AdaExploreBench: Benchmarking LLM Agents for Proactive Exploration and Test-time Adaptation in Evolving Environments
AI 导读
研究者提出 AdaExploreBench，用隐藏规则实例化环境动态，要求 LLM 智能体主动获取证据并推断规则，并在规则无预告漂移时从性能下降中识别旧知识失效、重新探索。在八个领先 LLM 上，GPT-6 Sol 仅达 61.9% 校准准确率；提供充分证据或移除规则漂移可使平均性能提升近 10%。结果表明当前智能体在证据可用时能有效推理，但难以主动获取正确证据并及时察觉其失效。
来源：arXiv Artificial Intelligence · arxiv.org