跳到正文
arXiv Artificial Intelligence· Jinwoo Chung, Jangho Kim·· 19 小时前AI 评分22

面向低比特 Mamba 超分的硬件友好 Token-Group 激活量化

Hardware-Friendly Token-Group Activation Quantization for Low-Bit Mamba Super-Resolution

AI 导读

针对 Mamba 超分模型低比特训练后量化中 selective scan 导致不同空间 token 激活范围差异大的问题,研究者提出 Token-Group Quantization 框架,用轻量预测器从 pre-scan 特征推断分组,静态选取离线校准的分组裁剪边界表,无需运行时统计或 post-scan 分组。

来源:arXiv Artificial Intelligence · arxiv.org