arXiv Artificial Intelligence· Ding Zhu, Mohammad Mahdi Khalili·· 2 小时前AI 评分34
WAQS:用于二次探测与仿射引导的权重吸收框架
WAQS: Weight Absorption for Quadratic Probing and Affine Steering
AI 导读
WAQS 框架通过二次探测实现依赖输入状态的激活引导,其梯度给出仿射引导方向,并可在离线权重更新中精确折叠进相邻线性层,不增加推理时计算。作者证明二次函数是梯度干预为仿射、因而可被线性层精确吸收的最大平滑概念评分类,并用低秩参数化扩展到高维表示。在真实性、拒答与谄媚引导任务上,二次引导达到或优于恒定线性引导且保持模型效用。
来源:arXiv Artificial Intelligence · arxiv.org