arXiv Artificial Intelligence· Tianxiang Xia, Kai Lion, Niao He, Michael Muehlebach, Melanie Zeilinger, Hao Ma·· 3 小时前AI 评分40
S-SALAAD：面向大模型的结构化稀疏学习，兼顾可压缩性与高效推理
Learning Structured Sparsity for Large Models: Bridging Model Compressibility and Efficient Inference
AI 导读
S-SALAAD 是一个在训练中联合学习模型权重及其低秩与结构化稀疏组件的统一框架，支持多种硬件兼容的结构化稀疏模式，并配套 CPU 与 GPU kernel 加速。在 Llama2 和 Qwen3 上覆盖预训练与蒸馏的实验显示，该框架在困惑度、内存与推理延迟上推进了经验 Pareto 前沿。结构化学习可将弹性压缩转化为更低内存占用与推理延迟，使大模型在边缘设备上部署成为可能。
来源：arXiv Artificial Intelligence · arxiv.org