arXiv Artificial Intelligence· Moritz Thoma, Maximilian Groezinger, Maximilian Forstenh\"ausler, Emad Aghajanzadeh, Manoj Rohit Vemparala, Christos Anagnostopoulos, Pierpaolo Mori, Nael Fasfous, Alexander Frickenstein, Daniel Mueller-Gritschneder, Ulf Schlichtmann·· 2 小时前AI 评分32
通过逐层误差模型搜索推进基于 SVD 的 LLM 压缩
Advancing SVD-based LLM Compression via Layer-Wise Error Model Search
AI 导读
研究提出逐层误差建模搜索（LEMS）与 KFAC-SVD，改进基于 SVD 的低秩 LLM 压缩中的全局秩分配与分解质量。在 Mistral、Qwen3 和 Llama 3 系列上，LEMS 的零样本准确率最高提升 4.8 个百分点并可泛化至 70B 参数规模，KFAC-SVD 平均降低困惑度 15%。
来源：arXiv Artificial Intelligence · arxiv.org