LLM代码评测重复运行方差上限研究
热点事件持续更新
LLM代码评测重复运行方差上限研究
1 篇报道1 个报道来源18 小时前更新
先了解这件事
AI 综述
2026年10月15日，arXiv Artificial Intelligence发布Yongxi Zhou等作者的论文，研究LLM代码评测中重复运行的方差分解与精度上限。研究用16个模型在99道LeetCode风格题目上各跑5次、两种提示词，共15840次评判，分解随机解码方差与题目集方差。结果显示，方差上限中位数为1.34（范围1.05–1.71），重复运行最多只能将置信区间收窄23%，中位模型仅14%；按成本定价后，精度最优重复次数约2–3次即可识别所需方差分量。作者强调，这些测量均基于同一基准、同一解码温度，并明确说明其结论的适用范围与限制。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
重复运行能带来多少收益？LLM 代码评测的方差上限测量报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv Artificial Intelligence重复运行能带来多少收益？LLM 代码评测的方差上限测量
研究用 16 个模型在 99 道 LeetCode 风格题目上各跑 5 次、两种提示词共 15840 次评判，分解 LLM 代码评测分数的随机解码方差与题目集方差。方差上限中位数为 1.34（范围 1.05–1.71），重复运行最多只能将置信区间收窄 23%，中位模型仅 14%；按成本定价后精度最优重复次数约 2–3 次即可识别所需方差分量。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。