arXiv Artificial Intelligence· Jianzhu Bao, Jia-Chen Gu, Qingyuan Liu, Haozhen Zhang, Kai-Wei Chang, Nanyun Peng, Wenya Wang·· 19 小时前AI 评分24
SPACE:用几何校准修正监督微调的子空间投影方法
Geometric Calibration of Supervised Fine-Tuning
AI 导读
SPACE 是一种免数据、免训练的后处理方法,只需 SFT 前后的 checkpoint,即可在 SFT 前权重的主子空间内选择性回退 SFT 更新分量、保留正交补部分。
来源:arXiv Artificial Intelligence · arxiv.org