arXiv Artificial Intelligence· Remy Ogasawara, Cullen Anderson, Narmeen Fatimah Oozeer, Foad Namjoo, Amir Abdullah, Jens Kristian Refsgaard Schou, Jeff M. Phillips·· 19 小时前AI 评分26
LLM 的正交与参数化多属性引导方法
Orthogonal and Parametrized Multi-Attribute Steering of LLMs
AI 导读
针对激活引导中信号强度不稳定、引导强度含义不统一的问题,研究者为每个引导向量识别最可引导区间并据此重新缩放引导范围,提出参数化引导方法,直接将激活设定在目标属性强度而非沿方向推动。多属性场景下,简单叠加向量会导致属性相互干扰,为此研究者提出向量正交化方法解耦各属性,使模型可同时引导多个行为而不互相诱发。
来源:arXiv Artificial Intelligence · arxiv.org