arXiv Artificial Intelligence· Sankar Behera, Dhruv Singh, Satyadev Ahlawat, Yamuna Prasad·· 18 小时前AI 评分24
SARATHI:解耦无数据探测与自适应重建的结构化 LLM 剪枝框架
SARATHI: Decoupled Data-Free Probing and Adaptive Reconstruction for Structured LLM Pruning
AI 导读
SARATHI 将结构化剪枝的神经元选择与权重重建解耦:无数据的 NMF Residual Subspace Probe 仅凭权重几何打分,Adaptive OBS 用局部校准批次重建剪枝权重,每层峰值内存为 O(d²)。
来源:arXiv Artificial Intelligence · arxiv.org