arXiv Artificial Intelligence· Xianglong Yan, Zenan Wu, Kewei Zhang, Kaicheng Yang, Yulun Zhang·· 18 小时前AI 评分27
SAGE：将 2-Bit 向量量化 LLM 推向真实可用
SAGE: Pushing 2-Bit Vector-Quantized LLMs toward Real-World Usability
AI 导读
SAGE 通过能量分层分组（ESG）与自适应比特分配（ABS）两项设计，在 2-bit 权重量化下取得 SOTA 表现，在 Qwen3-30B-A3B 上保留 BF16 模型平均基准分数的 95.3%。配合定制 CUDA kernel，SAGE 相比 FP16 实现最高 2.55 倍非流式端到端加速，代码已开源。
来源：arXiv Artificial Intelligence · arxiv.org