arXiv Artificial Intelligence· Lang Chen, Zongxin Xu, Borui Wang, Anran Liu, Shitong Chen·· 17 小时前AI 评分22
TACE：面向多模态 RLVR 的分布奖励校准与预算中性信用分配
Distributional Reward Calibration and Budget-Neutral Credit Assignment for Multimodal RLVR
AI 导读
研究者在 GRPO 优势估计中提出两阶段估计器 TACE：S1 用一维最优传输映射到标准正态替代线性标准化，统一各任务奖励分布并确定性截断小样本离群值；S2 在轨迹内对停止梯度的证据对比做秩校准，并将裁剪后的 token 权重归一化到均值为一，使信用总量与符号守恒。在多模态推理基准上，TACE 在多数评测中取得最强结果，但未在所有设置中占优。
来源：arXiv Artificial Intelligence · arxiv.org