跳到正文
arXiv Artificial Intelligence· Juan Amboage, Pablo Monteagudo-Lago, Ian Colbert, Giuseppe Franco, Nicholas Fraser·· 3 小时前AI 评分31

PiSO:为 PTQ 寻找最优训练后量化缩放因子

Optimal Post-Training Quantization Scales and Where to Find Them

AI 导读

PiSO 利用校准数据按通道选择缩放因子,在 RTN 量化下实现任意精度的全局最优输出重建误差,并可扩展到分组量化及 GPTQ、Qronos 等误差校正方法。

来源:arXiv Artificial Intelligence · arxiv.org