arXiv Artificial Intelligence· Wenbo Huang, Jianxin Bi, Shunyu Yang, Ruiyang Si, Rui Ni, Qiang Wang, Shulong Jiang, Yintianrun Zhang, Feixiang Ruan, Kewei Zhang, Ye Huang, Shukai Gong, Daquan Zhou·· 2 天前AI 评分43
学习任务还是学习验证器?重新审视具身自我改进中的评判标准暴露
Learning the Task or Learning the Verifier? Rethinking Criteria Exposure in Embodied Self-Improvement
AI 导读
针对具身智能体自我改进中把基准成功标准暴露给学习智能体的做法(Criteria Exposure,CE),受控实验显示:有 CE 时智能体能快速生成在给定标准下成功率更高的代码,但标准稍作改动后这一优势即消失,且 CE 下习得的技能跨任务迁移很差。作者据此提出 instruction-faithful criteria,称其更能反映智能体生成程序的实际表现。
来源:arXiv Artificial Intelligence · arxiv.org