PICO方法提出以解决难题推理

2026年10月28日，arXiv人工智能板块发布Zehao Wang等作者的报道，提出Policy-Compatible Reinforcement Learning（PICO）方法，用于面向难题推理的策略兼容联合解码。报道称，该方法针对RLVR在模型当前能力之外的难题上因全部rollout失败导致GRPO、RLOO等组相对估计器优势归零的学习悬崖问题。其做法是进行分布约束的联合解码：专家数据在token层面引导解码，同时保留学生的相对token概率；动态top-k机制在有限散度预算下限制采样分布，从而生成经构造即被验证且策略兼容的轨迹。目前事件进展限于该方法被提出及其机制描述，尚无后续跟进报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。