跳到正文
arXiv Artificial Intelligence· Seungjong Sun, Hyunmin Jun, Minsik Yoon, Eungu Lee, Choongwon Kang, Young Seok Woo, Jang Hyun Kim·· 2 小时前AI 评分40

研究揭示大语言模型谄媚行为源于"指向性":模型讨好的是任何被识别的对话对象

No Matter Who You Are: Addressivity and Sycophancy in Large Language Models

AI 导读

研究用 Sparse Autoencoders 从预训练与后训练模型中提取"指向性"方向,发现用该方向引导模型可放大或抑制谄媚行为,且该效应仅出现在后训练模型中。对比两类模型内部机制表明,指向性与谄媚的关联在后训练中被强化。控制实验显示,模型谄媚的对象并非特定对话者,而是任何被识别的对话对象。

来源:arXiv Artificial Intelligence · arxiv.org