跳到正文
arXiv Computer Vision· Huanfei He, Bohao Zhang, Jiaxin Zhang, Wei Sui, John See, Zeyd Boukhers, Cong Yang·· 2 天前AI 评分24

QMapAnything:面向前馈几何 Transformer 训练后量化的结构感知框架

Rotation Is Token-Blind: A Structural Criterion for Post-Training Quantization of Feed-Forward Geometry Transformers

AI 导读

QMapAnything 提出一种结构感知的训练后量化(PTQ)框架,将保浮点旋转与平滑归为 token-blind 重参数化群,并证明其只带来共模增益、不改变 token 间相对 SNR。

来源:arXiv Computer Vision · arxiv.org