arXiv Artificial Intelligence· Sichun Luo, Yi Huang, Mukai Li, Haochen Luo, Guanzhi Deng, Haibo Wang, Jian Xu, Zefa Hu, Junlan Feng, Qi Liu·· 19 小时前AI 评分31
LLM 驱动的智能体脚手架演化中，评估预算该如何分配？
Where Should the Evaluation Budget Go in LLM-Driven Agent Scaffold Evolution?
AI 导读
针对 LLM 驱动的智能体脚手架演化中全量评估成本过高的问题，研究提出评估分配框架，将稀疏的搜索期反馈与针对性的最终确认结合。该框架先用一次完整评估的短预热建立共享信息核心并校准响应模型，搜索后重新拟合模型并应用配对逐次减半，复用已有观测、只补缺失评估。在四个基准和两个演化框架上，该方法多数设置下平均性能高于全量评估，评估单元用量约为其一半。
来源：arXiv Artificial Intelligence · arxiv.org