分层量化补偿的均方误差保证研究

2026年10月15日，arXiv Artificial Intelligence 刊出 Tianhao Guo 的研究，探讨逐层训练后量化中，各层补偿前层继承量化误差在何种假设下能保证网络输出误差不高于不补偿。该研究针对任意深度线性网络给出正面结论：在校准 Gram 矩阵可逆、各层舍入误差条件均值为零且二阶矩映射相同时，强度固定在 [0,1] 的补偿可给出不劣于不补偿的均方输出误差。同时，研究指出该保证存在边界：使用 ReLU 激活时补偿会因两个独立原因失效——噪声改变激活状态，以及即使状态不变，修正也会把误差从单元未激活的样本转移到单元激活的样本；在有限码本下，即使每层存在唯一精确极小值且无过载，输出误差也可能更大。上述比较均在校准输入固定的条件下成立。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。