GAC混合SFT-RL后训练方法论文更新

2026年10月15日，arXiv Artificial Intelligence 刊出 Yuelin Hu 等作者的论文更新，提出面向混合 SFT-RL 后训练的噪声感知自适应混合方法 GAC。该方法通过最小化混合随机梯度的 MSE 上界推导出闭式混合权重 mu*，以平衡梯度噪声方差与 SFT-RL 分歧；在 CHORD 的 token 级重加权基础上加入 EMA 平滑、调度先验和更新上限，所有统计量在线估计。据该报道，完整系统在数学、代码、科学和逻辑基准上较 HPT 提升 3.8 分，同时将 KL 漂移面积降低 28%、大幅混合权重变化减少逾 70%，额外开销低于 1%；收益随模型规模从 1.5B 到 14B 增大。此次 camera-ready 更新新增了已发布的 Qwen3.5-4B 紧凑骨干检查点、参考实现和项目页链接，实验结论未变。上述数字与结论均来自该来源，尚未见其他独立报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。