arXiv Artificial Intelligence· Jiakun Fan, Min Xiao, Qiang Wang, Neiwen Ling, Zhichao Liu, Zhihao Jia, Dimitrios S. Nikolopoulos, Zijun Wei·· 2 小时前AI 评分31
DScout：用因子分解引导扩散草稿模型训练与推理的投机解码
Factorization-Guided Training and Inference for Diffusion-Drafted Speculative Decoding
AI 导读
DScout 通过两种互补的因子分解引导扩散草稿模型的训练与推理，以提升投机解码吞吐量。在 Qwen3-4B 和 Qwen3-8B 上，其相对自回归解码的平均加速分别为 3.84 倍和 4.14 倍，较 SOTA 基线平均加速提升 9.1% 和 7.1%。其推理配置策略在不同模型与并发设置下，相比固定配置还能额外带来最高 9.75% 的平均加速。
来源：arXiv Artificial Intelligence · arxiv.org