热点事件持续更新

小型LLM预填充预测路由成本

1 篇报道1 个报道来源12 小时前更新

先了解这件事

AI 综述

2026年11月9日，arXiv人工智能板块刊出Aristides Milios与Christopher Pal的研究，提出用单个小型冻结LLM（称为scout）的预填充激活，同时预测候选模型的成功概率与输出长度，据此按查询定价来路由成本。研究在九个数据集上评估：其中八个数据集上，若候选为推理模型，完美的逐查询成本知识可节省29%至61%开销；该预测成本在同等准确率下相对中位长度定价节省9%至33%，最多达到完美知识可节省量的69%。报道未提及该方法在其余一个数据集上的表现，也未说明适用模型范围与部署限制。

AI 根据报道生成 · 12 小时前更新

报道时间线

沿着报道，了解事件的不同侧面。

11月9日

13:00
arXiv Artificial Intelligence
Scout Before You Route：用小 LLM 预填充预测任务成功与 Token 数
研究者提出用单个小型冻结 LLM（scout）的预填充激活，同时预测候选模型的成功概率与输出长度，从而按查询定价路由成本。在九个数据集中的八个上，若候选为推理模型，完美的逐查询成本知识可节省 29-61% 开销，其预测成本在同等准确率下相对中位长度定价节省 9-33%，最多达到完美知识可节省量的 69%。

本事件热度走势

可比范围当前: 7
可比范围峰值: 1011月9日 14:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。