arXiv Artificial Intelligence· Desheng Xu, Hanglin Li, Tianchen Song, Zhiyong Zhao, Kun Zhan·· 2 小时前AI 评分31
LIRQuant：面向大语言模型的高效局部隔离旋转量化方法
LIRQuant: An Efficient Locally Isolated Rotation Quantization Method for Large Language Models
AI 导读
LIRQuant 是一种敏感度感知的量化框架，通过噪声加权敏感度指标识别敏感通道，仅对这些通道应用可学习旋转，其余通道使用轻量固定旋转。在 LLaMA-2/3、Mistral、Qwen3 和 Mixtral 系列上，LIRQuant 在 W4A4KV4 设置下取得 SOTA 精度，校准 LLaMA-3-8B 仅需 25 分钟、20.3 GB 峰值 GPU 显存。
来源：arXiv Artificial Intelligence · arxiv.org