跳到正文
arXiv Artificial Intelligence· Remy Ogasawara, Cullen Anderson, Narmeen Fatimah Oozeer, Foad Namjoo, Amir Abdullah, Jens Kristian Refsgaard Schou, Jeff M. Phillips·· 19 小时前AI 评分26

LLM 的正交与参数化多属性引导方法

Orthogonal and Parametrized Multi-Attribute Steering of LLMs

AI 导读

针对激活引导中信号强度不稳定、引导强度含义不统一的问题,研究者为每个引导向量识别最可引导区间并据此重新缩放引导范围,提出参数化引导方法,直接将激活设定在目标属性强度而非沿方向推动。多属性场景下,简单叠加向量会导致属性相互干扰,为此研究者提出向量正交化方法解耦各属性,使模型可同时引导多个行为而不互相诱发。

来源:arXiv Artificial Intelligence · arxiv.org