arXiv Artificial Intelligence· Stephen Chung, Wenyu Du·2026-10-23 12:00· 1 天前AI 评分34

低比特 N-Gram 嵌入为语言模型节省 n-gram 表内存

Low-Bit N-Gram Embeddings for Language Models

AI 导读

研究提出以低精度存储 n-gram 嵌入表，在 nanochat、Llama 和 GPT-2 系列从零训练的模型上，4 比特表节省约 75% 的表内存，同时保留超过 99% 的验证损失改善。