Token-Group激活量化框架用于低比特Mamba超分

2026年10月14日，arXiv Artificial Intelligence 报道，Jinwoo Chung 与 Jangho Kim 提出 Token-Group Quantization，一个面向低比特 Mamba 超分模型的硬件友好激活训练后量化（PTQ）框架。报道称，Mamba 超分模型在低比特 PTQ 中，selective scan 会导致不同空间 token 的激活范围差异较大；该框架用轻量预测器从 pre-scan 特征推断分组，静态选取离线校准的分组裁剪边界表，从而无需运行时统计或 post-scan 分组，并静态近似一个对硬件不友好的 post-scan 分组 oracle，将偏好裁剪范围相近的 token 分到同一组。报道注明代码已提供，且该工作已被 NeurIPS 2026 接收。目前进展为方法提出与接收，尚无后续跟进报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。