arXiv Artificial Intelligence· Juan Amboage, Pablo Monteagudo-Lago, Ian Colbert, Giuseppe Franco, Nicholas Fraser·· 3 小时前AI 评分31
PiSO:为 PTQ 寻找最优训练后量化缩放因子
Optimal Post-Training Quantization Scales and Where to Find Them
AI 导读
PiSO 利用校准数据按通道选择缩放因子,在 RTN 量化下实现任意精度的全局最优输出重建误差,并可扩展到分组量化及 GPTQ、Qronos 等误差校正方法。
来源:arXiv Artificial Intelligence · arxiv.org