LoopQ：面向循环语言模型的量化框架

针对循环语言模型（LoopLMs）因重复复用共享 Transformer 块而对训练后量化（PTQ）敏感的问题，研究者提出循环感知的 PTQ 框架 LoopQ，通过循环感知激活缩放、跨循环状态对齐与轨迹感知校准来抑制误差累积。在 W4A4 量化下，LoopQ 在四个骨干模型上实现五任务平均准确率 67.8% 的平均相对提升，并在八组骨干-数据集组合上取得平均相对困惑度下降 75.2% 的保守估计。