SpecFit：卸载MoE推理的草稿子树选择

2026年10月14日，arXiv Artificial Intelligence 刊出 Hongliang Cao 等作者的论文，提出 SpecFit 草稿子树选择方法，用于卸载式 MoE 推理。该工作观察到卸载式 MoE 推理中并非所有草稿 token 代价相同，因此 SpecFit 选择经过验证的草稿子树，以最大化预测吞吐量，而非追求接受长度。在 CNN/DailyMail 摘要任务和 GSM8K 子集上，使用 Qwen3-30B-A3B，SpecFit 在相同专家缓存下解码速度比 EAGLE-3 快 21.6% 和 7.0%，比原生 EAGLE-3 快 1.97 倍和 1.72 倍。论文称代码已公开。上述结果均为该论文自报，且仅对应所述数据集、模型与对比条件。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。