RECAP：让低比特推理模型在它读过的历史上下文上做校准

RECAP 是一种训练后量化方法，通过在模型实际读取的历史上下文上做校准来缓解低比特推理模型的精度损失。它用动态前缀校准分离长历史上下文与短块重建，并用前缀读取几何按对注意力输出的影响非对称加权 key 和 value 误差，两个组件仅在校准阶段启用。