arXiv Artificial Intelligence· Sitong Wu, Haoru Tan, Bin Xia, Xichen Zhang, Jingyao Li, Shaofeng Zhang, Xiaojuan Qi, Bei Yu, Jiaya Jia·· 20 小时前AI 评分27
无需训练即可从奖励模型提取 token 级奖励的 P2T 方法
Unlocking Token Rewards via Training-Free Reward Attribution
AI 导读
研究者提出免训练的 P2T 方法，通过一阶泰勒近似估计每个 token 对整体过程奖励的影响，只需一次前向与反向传播即可从现有深度奖励模型中提取 token 级奖励信号，无需额外训练奖励模型。
来源：arXiv Artificial Intelligence · arxiv.org