arXiv Artificial Intelligence· Ning Yang, Bohan Cui, Zhuowen Liu, Yuting Wang·· 19 小时前AI 评分32
ResCom：用激活残差补偿修正大语言模型量化误差
ResCom: Activation Residual Compensation for Large Language Model Quantization
AI 导读
ResCom 提出一种低秩校正方法，利用激活舍入残差补偿量化后的层输出误差，通过输出感知校准以闭式解选取残差方向，无需梯度训练或改动已校准权重。
来源：arXiv Artificial Intelligence · arxiv.org