arXiv Artificial Intelligence· Ke Li, Dong An, Xiaoling Zang, Can Ye, Liang Xie, Qibo Qiu, Chen Shen, Xiaofei He, Wenxiao Wang·· 18 小时前AI 评分31
InfoQuant：面向低比特 LLM 量化的激活分布整形方法
InfoQuant: Shaping Activation Distributions for Low-Bit LLM Quantization
AI 导读
InfoQuant 是一种免训练的低比特 LLM 激活量化方法，通过峰值抑制正交变换（PSOT）将激活整形为更易离散化的分布，并引入自适应离群 token 选择提升优化鲁棒性。在 W4A4KV4 设置下，该方法平均保留 97% 的浮点精度，并将 LLaMA-2 13B 的性能差距较此前 SOTA 缩小 42%。
来源：arXiv Artificial Intelligence · arxiv.org