arXiv Artificial Intelligence· Jake Ward, Shawn Hu, Aria Wong, Nathan Hu, Bryce Woodworth, Alexander Matt Turner, Alex Cloud·· 18 小时前AI 评分39
GRAFT：用梯度路由在 RL 中定位并消除非预期行为
Gradient Routing Localizes and Removes Unintended Behaviors in RL
AI 导读
针对奖励函数设定不当导致的 reward hacking，研究者提出 GRAFT（Gradient Routing Adapter Fine Tuning），将监控器标记样本的梯度更新约束到一组新增的牺牲参数上，而非惩罚或过滤这些样本。
来源：arXiv Artificial Intelligence · arxiv.org