跳到正文
arXiv Artificial Intelligence· Yupeng Chang, Yahan Li, Chenlu Guo, Diana Inkpen, Yuan Wu, Yi Chang·· 2 小时前AI 评分34

BOSS:面向 LLM 推理的 token 预算在线采样与选择

BOSS: Token-Budgeted Online Sampling and Selection for LLM Reasoning

AI 导读

BOSS 是一种无需训练的策略,在每实例 prompt 加补全的硬性 token 上限下,在线决定何时停止推理、再生成一个候选,或用剩余 token 裁决已有候选。

来源:arXiv Artificial Intelligence · arxiv.org