跳到正文
arXiv Artificial Intelligence· Hannah Guan, Yilun Du·· 13 小时前AI 评分31

APT:按方面成对比较的测试时选择方法

Aspect-wise Pairwise Tournaments for Test-Time Selection

AI 导读

研究者提出 Aspect-wise Pairwise Tournaments(APT),用单败淘汰赛制让多个现成方面验证器逐对投票选出最佳候选解。在五个领域、三个生成器 LLM 上,APT 优于二元多方面审批、自一致性和奖励模型验证,开放式任务提升最大。该方法无需训练任何组件,方面以自然语言指定,用户可借此引导选择偏好,换领域只需重写提示词。

推荐理由模型分析

APT把best-of-n的候选选择从“逐项打分”改为“按方面两两比较”,并用单败淘汰赛组织多轮投票,无需训练任何组件。在五个领域、三个生成模型上,它优于二值多面审批、自洽性和奖励模型验证,开放任务增益最大;消融显示比较与分面缺一不可。开发者可据此在推理阶段用自然语言指定关注方面来引导选择,但证据限于论文实验,跨域迁移依赖重写提示词。

来源:arXiv Artificial Intelligence · arxiv.org