跳到正文
arXiv Artificial Intelligence· Seyedarmin Azizi, Arya Fayyazi, Parsa Razmara, Erfan Baghaei Potraghloo, Souvik Kundu, Massoud Pedram·· 18 小时前AI 评分31

激活引导的曲率分析:锐方向为何让 CAA 失效

The Sharp Directions Are Against You: Curvature Analysis of Activation Steering

AI 导读

研究提出"引导 Hessian"矩阵,用于刻画语言模型行为损失对引导向量的二阶导数,其顶部特征向量即"锐方向",微小扰动即可引发大幅且依赖输入的行为波动。

来源:arXiv Artificial Intelligence · arxiv.org