arXiv Artificial Intelligence· Yuelin Hu, Wei Liu, Zhenbo Yu, Zhengxue Cheng, Li Song·· 19 小时前AI 评分27
GAC：面向混合 SFT-RL 后训练的噪声感知自适应混合方法
GAC: Noise-Aware Adaptive Mixing for Hybrid SFT-RL Post-Training
AI 导读
研究提出噪声感知自适应混合方法 GAC，通过最小化混合随机梯度的 MSE 上界推导出闭式混合权重 mu*，平衡梯度噪声方差与 SFT-RL 分歧。在 CHORD 的 token 级重加权基础上，GAC 加入 EMA 平滑、调度先验和更新上限，所有统计量在线估计。
来源：arXiv Artificial Intelligence · arxiv.org