TETPO：目标ESS的桥式重要性采样策略优化

2026年10月15日，arXiv Artificial Intelligence 发布 Shayan Mohajer Hamidi 等作者的研究，提出 Target-ESS Tempered Policy Optimization（TETPO）方法。该工作针对大语言模型异步强化学习后训练中重要性权重重尾、有效样本量（ESS）崩溃的问题，将每个重要性权重 ρ 替换为 ρ^α，其中 α 为数据自适应指数且 α∈[0,1]：α=1 保留原始重要性权重，α=0 则赋予均匀系数；并按每个 prompt 组选取满足目标 ESS 比例 κ 的最大 α。报道称，在高 staleness 条件下的数学推理基准上，TETPO 优于强 on-policy 与 off-policy 基线。目前该事件仅有这一篇主报道，暂无后续跟进报道，也未出现数字、时间或说法上的前后矛盾。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。