arXiv Artificial Intelligence· Aristides Milios, Christopher Pal·· 13 小时前AI 评分32
Scout Before You Route：用小 LLM 预填充预测任务成功与 Token 数
Scout Before You Route: Predicting Task Success and Token Count from a Small LLM Prefill
AI 导读
研究者提出用单个小型冻结 LLM（scout）的预填充激活，同时预测候选模型的成功概率与输出长度，从而按查询定价路由成本。在九个数据集中的八个上，若候选为推理模型，完美的逐查询成本知识可节省 29-61% 开销，其预测成本在同等准确率下相对中位长度定价节省 9-33%，最多达到完美知识可节省量的 69%。
推荐理由模型分析
该工作指出推理模型输出长度随查询波动可达一个数量级，固定成本定价会失真，并用单个小型冻结LLM的prefill激活同时预测成功率与输出长度。在九个数据集中八个上，预测成本相对中位长度定价在同等准确率下节省9–33%，约为完美成本信息可节省量的69%，且优于复现的ZeroRouter等方法。适合做模型路由与推理成本优化的开发者参考，但需注意其收益集中在推理候选模型，且scout约2B后收益不再增长。
来源：arXiv Artificial Intelligence · arxiv.org