SARATHI：解耦无数据探测与自适应重建的结构化LLM剪枝

2026年10月15日，arXiv Artificial Intelligence 刊出 Sankar Behera 等作者的论文，提出结构化 LLM 剪枝框架 SARATHI。该框架将结构化剪枝中的神经元选择与权重重建两个阶段解耦：无数据的 NMF Residual Subspace Probe 仅凭权重内在几何为神经元打分，不访问任何校准数据，并与 Robust PCA 存在形式化联系；随后 Adaptive OBS 用局部校准批次重建被剪权重，每层峰值内存为 O(d²)，从而消除耦合方法的全局内存瓶颈。实验覆盖两个架构家族（门控与非门控 FFN）的六个模型，稀疏度 15%–40%，结果显示 SARATHI 取得有竞争力的困惑度，并在零样本准确率上达到或超过现有结构化剪枝基线。目前报道仅涉及该论文的框架设计与实验结果，未提及后续进展或与其他报道的矛盾。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。