量化对巴伐利亚语等语言能力的影响研究

2026年10月15日，arXiv Artificial Intelligence 刊出 Jophin John 等作者的研究，考察后训练量化对巴伐利亚语、标准德语和英语语言能力的鲁棒性。研究使用 BAVGROUND 基准，含 206 道源题，对齐巴伐利亚语、标准德语和英语三种语言，测试 14 个 7B–10B 开源指令模型，对比 BF16 与 8-bit GPTQ、4-bit GPTQ 和 AWQ。结果显示，8-bit GPTQ 与 BF16 接近，基本保持三种语言的相对表现；4-bit 量化则明显更不稳定，两种 4-bit 方法使平均准确率下降约 1.4–1.5 个百分点，并改变 11.9%–16.0% 的 BF16 决策，变化集中在 BF16 模型本就不确定的样本上。对五个模型的自由形式评估进一步显示，即使多项选择准确率变化不大，4-bit 压缩也可能降低生成回答质量，而 8-bit GPTQ 相对稳定。研究背景是后训练量化可降低大模型内存开销，但压缩能否同样可靠地保留地区变体语言能力尚不明确。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。