arXiv Artificial Intelligence· Hanzhi Zhang, Qiao Zhang, Qinglei Cao, Heng Fan, Yan Huang, Kewei Sha, Yunhe Feng·2026-11-06 13:00· 2 天前AI 评分31

TileQuant：以 tile 为精度分配单元的 LLM 混合精度训练后量化框架

TileQuant: Tile as the Precision-Allocation Unit for LLM Mixed-Precision Post-Training Quantization

AI 导读

TileQuant 是一个免训练的训练后量化框架，把精度分配给硬件对齐的二维权重 tile：每个投影在保留预算内，得分最高的 tile 保持 16-bit，其余用 8-bit。