arXiv Artificial Intelligence· Seyedarmin Azizi, Arya Fayyazi, Parsa Razmara, Erfan Baghaei Potraghloo, Souvik Kundu, Massoud Pedram·· 18 小时前AI 评分31
激活引导的曲率分析:锐方向为何让 CAA 失效
The Sharp Directions Are Against You: Curvature Analysis of Activation Steering
AI 导读
研究提出"引导 Hessian"矩阵,用于刻画语言模型行为损失对引导向量的二阶导数,其顶部特征向量即"锐方向",微小扰动即可引发大幅且依赖输入的行为波动。
来源:arXiv Artificial Intelligence · arxiv.org