跳到正文
arXiv Artificial Intelligence· Weihang Su, Jiacheng Kang, Jingyan Xu, Qingyao Ai, Jianming Long, Hanwen Zhang, Bangde Du, Xinyuan Cao, Min Zhang, Yiqun Liu·· 19 小时前AI 评分30

ReGrad:把梯度当作可检索知识,实现无权重漂移的持续后训练

Retrievable Gradients: Continual Post-Training Without Cumulative Weight Drift

AI 导读

研究者提出 ReGrad(Retrievable Gradients),将梯度视为可检索的知识单元:离线预计算文档专属梯度并存入索引化的 Gradient Bank,推理时只检索与查询相关的梯度做临时权重适配。

来源:arXiv Artificial Intelligence · arxiv.org