arXiv Artificial Intelligence· Weihang Su, Jiacheng Kang, Jingyan Xu, Qingyao Ai, Jianming Long, Hanwen Zhang, Bangde Du, Xinyuan Cao, Min Zhang, Yiqun Liu·· 19 小时前AI 评分30
ReGrad:把梯度当作可检索知识,实现无权重漂移的持续后训练
Retrievable Gradients: Continual Post-Training Without Cumulative Weight Drift
AI 导读
研究者提出 ReGrad(Retrievable Gradients),将梯度视为可检索的知识单元:离线预计算文档专属梯度并存入索引化的 Gradient Bank,推理时只检索与查询相关的梯度做临时权重适配。
来源:arXiv Artificial Intelligence · arxiv.org