LEMS与KFAC-SVD改进LLM压缩
热点事件持续更新
LEMS与KFAC-SVD改进LLM压缩
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
2026年10月26日，arXiv Artificial Intelligence 刊出研究，Moritz Thoma 等作者提出逐层误差建模搜索（LEMS）与 KFAC-SVD，用于改进基于 SVD 的低秩大语言模型压缩中的全局秩分配与分解质量。报道称，在 Mistral、Qwen3 和 Llama 3 系列模型上，LEMS 的零样本准确率最高提升 4.8 个百分点，并可泛化至 700 亿参数规模；KFAC-SVD 平均降低困惑度 15%。目前该研究处于论文发布阶段，尚无后续跟进报道。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 12:00
通过逐层误差模型搜索推进基于 SVD 的 LLM 压缩报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv Artificial Intelligence通过逐层误差模型搜索推进基于 SVD 的 LLM 压缩
研究提出逐层误差建模搜索（LEMS）与 KFAC-SVD，改进基于 SVD 的低秩 LLM 压缩中的全局秩分配与分解质量。在 Mistral、Qwen3 和 Llama 3 系列上，LEMS 的零样本准确率最高提升 4.8 个百分点并可泛化至 70B 参数规模，KFAC-SVD 平均降低困惑度 15%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。