跳到正文
arXiv Artificial Intelligence· Sankar Behera, Dhruv Singh, Satyadev Ahlawat, Yamuna Prasad·· 18 小时前AI 评分24

SARATHI:解耦无数据探测与自适应重建的结构化 LLM 剪枝框架

SARATHI: Decoupled Data-Free Probing and Adaptive Reconstruction for Structured LLM Pruning

AI 导读

SARATHI 将结构化剪枝的神经元选择与权重重建解耦:无数据的 NMF Residual Subspace Probe 仅凭权重几何打分,Adaptive OBS 用局部校准批次重建剪枝权重,每层峰值内存为 O(d²)。

来源:arXiv Artificial Intelligence · arxiv.org