arXiv Artificial Intelligence· Yupeng Chang, Yuan Wu, Yi Chang·· 3 小时前AI 评分26
SOS-LoRA：固定多尺度缩放的静态正交子空间低秩适配
SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling
AI 导读
SOS-LoRA 将 rank-rtot 更新重参数化为 K 个静态低秩专家之和，通过跨专家正交初始化与轻量正则化促进输入侧方向多样化，并采用固定多尺度缩放。该方法完全可合并，合并后不增加推理参数或延迟。在 Llama 2/3 的推理与知识密集基准、GLUE 及 GSM8K/MATH 上，其表现一致优于同等预算的 LoRA 基线及近期变体。
来源：arXiv Artificial Intelligence · arxiv.org