arXiv Artificial Intelligence· Tianqi Xu, Lu Lv, Haoyang Huang, Wenjie Huang, Zhanming Shen, Yuhao Shen, Baolin Zhang, Xinyi Hu, Shuang Ge, Jun Dai, Tianyu Liu, Suorong Yang, Zhikai Li, Ye Bai, Jun Zhang, Lei Chen, Yue Li, Mingchen Wan·· 13 小时前AI 评分31
TailSieve：用部分 rollout 引导 LLM rollout 的长尾路由
TailSieve: Partial-Rollout-Guided Tail Routing for LLM Rollouts
AI 导读
TailSieve 是一个部分 rollout 引导的框架，联合控制长尾路由与副本分配，仅靠路由即可比统一分组路由最高提速 1.67 倍，结合路由与投机解码可达 2.59 倍。它利用部分 rollout 完成状态作为免训练信号识别候选长尾组，并用分层控制器分别调节隔离组数量与副本数。低并发执行还支持基于 MTP 或 DFlash 的路由专用投机解码。
推荐理由模型分析
TailSieve 针对同步 rollout 中长尾生成拖慢整批完成的瓶颈，用部分 rollout 完成状态作为免训练信号识别长尾 prompt，并分层控制隔离组数与副本分配，低并发执行还支持路由专用投机解码。在评测配置下，仅路由相对统一分组路由最高提速 1.67 倍，叠加投机解码达 2.59 倍。做 RL 后训练、on-policy 蒸馏或采样评测的团队可据此判断长尾调度与副本分配是否值得引入，但提速幅度依赖具体配置，需在自身负载上复现。
来源：arXiv Artificial Intelligence · arxiv.org