arXiv Artificial Intelligence· Keqi Chen, Zekai Sun, Yuhua Wen, Tianyi Tian, Xinyang Huang, Huijun Lian, Yingming Gao, Ya Li·· 2 小时前AI 评分38
NeuroSteer:通过特征放大在推理时调控 LLM 行为偏好
From Black Box to Controller: Inference-Time Steering of LLM via Feature Amplification
AI 导读
NeuroSteer 是一个即插即用框架,用稀疏自编码器(SAE)作控制器,在推理时对 LLM 偏好做可量化的灵活调整。它通过对比正负样本的神经元激活频率,找出对应礼貌、正面情感等目标偏好的“特征神经元”,并在推理时放大这些 SAE 特征在隐表示中的激活以引导输出分布。
来源:arXiv Artificial Intelligence · arxiv.org