arXiv Artificial Intelligence· Wei Dai, Qianchu Liu, Guanghui Qin, Xing Han, Tristan Naumann, Paul Pu Liang, Sheng Zhang·· 2 小时前AI 评分29
RRI:用对抗式元提示演化实现递归奖励改进
Recursive Reward Improvement via Adversarial Meta-Prompt Evolution
AI 导读
针对开放式专家任务中模型自写评分标准易被 solver 钻空子的问题,研究者提出 RRI(Recursive Reward Improvement),用奖励黑客对抗者监督奖励:先让对抗者写出钻评分标准空子的无用答案,再让同一模型在不看评分标准的情况下写诚实答案,最多经两步修复使诚实答案胜出,并将发现的漏洞用于改写后续任务与评分标准的生成方式。
来源:arXiv Artificial Intelligence · arxiv.org