arXiv Artificial Intelligence· Jiayi Wu, Ruobing Xie, Zeqian Huang, Lei Jiang, Can Xu, Kangyang Luo, Bochen Lin, Ming Gao, Xiang Li·· 19 小时前AI 评分24
CalibAdv:为搜索智能体校准 GRPO 优势,缓解负优势的双刃剑效应
Negative Advantages Is a Double-Edged Sword: Calibrating advantages in GRPO for Search Agents
AI 导读
针对 GRPO 在多跳搜索中惩罚正确中间步骤、训练不稳定等问题,研究者提出优势校准方法 CalibAdv,利用中间步骤正确性在细粒度上缩减过大的负优势,并重新平衡正负优势。该方法基于标准 rollout 信号、轻量易部署,在三个模型和七个基准上同时提升了性能与训练稳定性,代码已开源,论文被 EMNLP 2026 Findings 接收。
来源:arXiv Artificial Intelligence · arxiv.org