重复运行能带来多少收益？LLM 代码评测的方差上限测量

研究用 16 个模型在 99 道 LeetCode 风格题目上各跑 5 次、两种提示词共 15840 次评判，分解 LLM 代码评测分数的随机解码方差与题目集方差。方差上限中位数为 1.34（范围 1.05–1.71），重复运行最多只能将置信区间收窄 23%，中位模型仅 14%；按成本定价后精度最优重复次数约 2–3 次即可识别所需方差分量。