arXiv Artificial Intelligence· Shayan Mohajer Hamidi, Kayhan Behdin, Wenhui Zhu, Aida Rahmattalabi, Jincheng Cao, Jelena Markovic-Voronov, Alborz Geramifard·· 17 小时前AI 评分24
TETPO：用桥式重要性采样实现平滑方差控制的目标 ESS 温度策略优化
Target-ESS Tempered Policy Optimization (TETPO): Smooth Variance Control via Bridge Importance Sampling
AI 导读
针对大语言模型异步强化学习后训练中重要性权重重尾、有效样本量（ESS）崩溃的问题，研究者提出 Target-ESS Tempered Policy Optimization（TETPO），将每个重要性权重 ρ 替换为 ρ^α，并按每个 prompt 组选取满足目标 ESS 比例 κ 的最大 α。
来源：arXiv Artificial Intelligence · arxiv.org