谱平滑与尖峰扰动如何重塑LLM能力分布

2026年10月23日，arXiv Artificial Intelligence 刊出 Qince Luan 等作者的研究，考察事后谱平滑与尖峰扰动对大语言模型能力分布和任务表现的影响。研究对 Llama 和 Qwen 五个开源指令模型的 up_proj 与 down_proj 矩阵施加干预，在保持奇异向量和奇异值几何均值不变的前提下，拉伸或压缩奇异值偏离。结果显示，大幅正扰动更稳定地抑制语言理解与演绎推理表现；中等负扰动有时能提升事实性或任务局部表现；敏感度随模型家族、评测模块和逐层谱不等性显著变化。该研究为理解权重谱结构与大语言模型能力分布之间的关系提供了实验依据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。