arXiv Artificial Intelligence· Tianqi Chen, Xunchao Li, Linchuan Xie, Guanghua Yu, Jianchen Zhu, Peisong Wang, Jian Cheng·· 19 小时前AI 评分38
GateRQ：为 LLM 量化条件记忆实现按查询精度
Let the Gate Decide: Per-Lookup Precision for Quantized Conditional Memory in LLMs
AI 导读
GateRQ 利用门控值给每次查表的量化误差加权，按需读取 1-bit 残差码的深层级，从而在 DeepSeek-V4.1-Flash 上无需重训练就把 GPU 表内存降低 7.8 倍，vLLM 吞吐较 FP8 表提升 11%-31%。
来源：arXiv Artificial Intelligence · arxiv.org