跳到正文
arXiv Artificial Intelligence· Keqi Chen, Zekai Sun, Yuhua Wen, Tianyi Tian, Xinyang Huang, Huijun Lian, Yingming Gao, Ya Li·· 2 小时前AI 评分38

NeuroSteer:通过特征放大在推理时调控 LLM 行为偏好

From Black Box to Controller: Inference-Time Steering of LLM via Feature Amplification

AI 导读

NeuroSteer 是一个即插即用框架,用稀疏自编码器(SAE)作控制器,在推理时对 LLM 偏好做可量化的灵活调整。它通过对比正负样本的神经元激活频率,找出对应礼貌、正面情感等目标偏好的“特征神经元”,并在推理时放大这些 SAE 特征在隐表示中的激活以引导输出分布。

来源:arXiv Artificial Intelligence · arxiv.org