GateRQ：按门控逐查表分配量化精度

2026年10月28日，arXiv 人工智能板块报道，Tianqi Chen 等作者提出 GateRQ 逐查表精度量化方法。该方法把每行存储为 1-bit 残差码阶梯，第 1 级常驻 GPU 内存用于计算门控，只对门控排序最高的查表读取更深层级，从而按需分配量化精度。报道称，在 DeepSeek-V4.1-Flash 上无需重训练，GateRQ 将 GPU 表内存降低 7.8 倍，vLLM 吞吐较 FP8 表提升 11%-31%；代价是每次查表读取 1.50 bit 时 PopQA 约降 1 分，读取 2.10 bit 时在两个模型上约降 0.2 分。上述内存、吞吐与精度数据均绑定于该模型及对应读取位宽条件，报道未说明其他模型或配置下的表现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。