LLM 后训练中的提示词干扰：为何 Pass@k 优化会降低 Pass@1

针对 LLM 后训练中 pass@k 提升而 pass@1 下降的权衡，研究从提示词干扰导致的梯度冲突给出理论刻画。pass@k 策略梯度会隐式向低成功率提示词重新加权，当这些提示词存在负干扰时，其更新方向会偏离 pass@1 方向。研究在可验证的数学推理与代码生成任务上通过大语言模型实验验证了该发现。