DictLLM：用字典核实现大语言模型训练后压缩

DictLLM 是一种基于字典的训练后压缩方案，将分组层内的权重矩阵分解为共享字典与层专属稀疏系数，无需额外训练即可从预训练模型直接获得。该方法把压缩建模为四步优化：SVD 获取共享字典、用字典感知 Hessian 稀疏化系数、再精修字典，最后对两部分分别量化。在 LLaMA-7B 上实现 5.1x 压缩，WikiText-2 困惑度仅上升 2.9 点，压缩率比现有最优低秩方法高 3.6x。