提出验证重试恢复小模型能力

论文研究在本地部署显存受限时，能否通过多次运行更小或更压缩的模型并用公开或模型自生成的测试筛选输出，来弥补能力差距。在四个代码生成基准上，验证重试显著恢复了因模型规模或压缩损失的准确率：7B Qwen 模型并行尝试八次后在 MBPP+ 上基本追平 32B 模型，在其余三个基准上超过它，同时模型内存约为其四分之一，在 Nvidia GPU 上运行最高快 6 倍且能耗更低。

摘自 arXiv Artificial Intelligence

还没有足够的连续观测数据，暂不绘制趋势。