arXiv Artificial Intelligence· Zongyao Zhao, Cheng-Jie Zhao, Ruihang Jiang, Bing Zheng, Zhaolin Wang, Yuanwei Liu·· 2 小时前AI 评分31
Martingale GRPO：为 VLA 强化学习按事件截断失败反馈
When to Stop Penalizing Actions? Martingale GRPO for VLA Reinforcement Learning
AI 导读
MART-GRPO 用成功概率与策略得分鞅刻画失败反馈的理想停止点，在这些截断处被移除的梯度条件期望为零，从而保留参考 GRPO 组梯度估计的期望并可能降低其协方差。该方法用 LoRA 微调的 VLM 在完整 rollout 视频中定位最后一个未见恢复的可见错误，仅保留该错误区间内的失败反馈。在 RoboTwin 2.0 上以 OpenVLA-OFT 实验，多个任务的成功率高于全轨迹 GRPO。
来源：arXiv Artificial Intelligence · arxiv.org