arXiv Artificial Intelligence· Qince Luan, Jianhui Xu, Yang Xu·· 4 小时前AI 评分29
谱平滑与尖峰扰动重塑大语言模型的能力分布与选择性任务表现
Spectral Smoothing and Spiking Perturbations Reconfigure Capability Profiles and Selective Task Performance in Large Language Models
AI 导读
研究对 Llama 和 Qwen 五个开源指令模型的 up_proj 与 down_proj 矩阵施加事后谱平滑与尖峰扰动，在保持奇异向量和奇异值几何均值不变的前提下拉伸或压缩奇异值偏离。结果显示大幅正扰动更稳定地抑制语言理解与演绎推理表现，中等负扰动有时能提升事实性或任务局部表现，敏感度随模型家族、评测模块和逐层谱不等性显著变化。
来源：arXiv Artificial Intelligence · arxiv.org