ReAPO：重试感知策略优化改进LLM推理探索

2026年10月22日，arXiv Artificial Intelligence 刊出 Nghi Dao 等作者的论文，提出 Retry-Aware Policy Optimization（ReAPO）方法，用于改进大语言模型推理中的探索与信用分配。作者将信用分配建模为经典强化学习中的随机最短路径问题，目标是使到达已验证成功回答这一终止状态的期望累计代价最小。基于该视角，ReAPO 对 GRPO 做简单修改：为失败轨迹追加生成，使成功重试获得强化，而不奖励此前的失败。实验覆盖 Qwen3 与 OLMo-2 的 0.6B 至 4B 模型，并在八个数学与科学推理基准上评估；结果显示 ReAPO 的首答表现优于 GRPO 及近期基线。目前报道仅给出上述方法与实验结果，未涉及更大规模模型或其他任务类型的验证。

AI 根据报道生成 · 3 小时前更新