arXiv Artificial Intelligence· Hongliang Cao, Xiuyu Li, Siqi Wang, Ziming Wang, Jingmin Zhu, Hailong Yang·2026-10-14 12:00· 19 小时前AI 评分22

SpecFit：卸载式 MoE 推理中并非所有草稿 token 代价相同

SpecFit: Not All Draft Tokens Cost the Same in Offloaded MoE Inference

AI 导读

SpecFit 通过选择验证草稿子树来最大化预测吞吐量，而非追求接受长度，在 CNN/DailyMail 摘要和 GSM8K 子集上使用 Qwen3-30B-A3B，解码速度比 EAGLE-3 快 21.6% 和 7.0%，比原生 EAGLE-3 快 1.97 倍和 1.72 倍。