跳到正文
arXiv Artificial Intelligence· Yirui Zhang, Yash Raj Shrestha·· 18 小时前AI 评分42

研究:LLM 评审很少胜过更强模型,验证与能力迁移被混淆

Review Rarely Beats the Stronger Model: Separating Verification from Capability Transfer in LLM Pipelines

AI 导读

对 12 个开源模型(3B 至 72B)组成的 48 对组合、覆盖数学、知识、代码与推理的测试显示,在 96 个评审方向中,评审仅在 9 个方向上胜过单独使用更强模型,且能力差距越大表现越差。原因是锚定效应:评审模型大多跟随生成模型的答案,丢弃了自己原本正确的答案。评审成本是单独使用更强模型的 2.6 至 2.8 倍,而同样两次调用的选择器比评审准确率高 2.7 至 4.2 分且更便宜。

来源:arXiv Artificial Intelligence · arxiv.org