BOSS：硬性 token 预算下的在线采样与裁决策略

2026年10月20日，arXiv 人工智能板块刊出 Yupeng Chang 等作者的论文，提出 BOSS——一种无需训练的推理时预算分配策略。据该报道，BOSS 针对每个实例 prompt 加补全的硬性 token 上限，在线做三类决策：何时停止推理、是否再生成一个候选、或用剩余 token 裁决已有候选；每次生成与裁决调用前都做最坏情况预算检查。报道称，在两个 Llama-3.1 模型与四个推理基准上，于共同硬性上限下，BOSS 在 24 个“模型—任务—预算”组合中的 22 个取得最高准确率。目前该事件仅有这一篇主报道，尚无跟进报道或独立复现，上述效果数字均为论文方自述。

AI 根据报道生成 · 38 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。