arXiv Artificial Intelligence· Selim Aktas, Yusuf Erdem Erdem, Ahmed Zeer, Himmet Toprak Kesgin, Muzaffer Kaan Yuce, Mehmet Fatih Amasyali·· 13 小时前AI 评分40
ChainFlow：面向投机解码的少步潜空间流匹配方法
ChainFlow: Few-Step Latent Flow Matching for Speculative Decoding
AI 导读
ChainFlow 是一种以目标模型隐藏状态为条件的流匹配投机解码 drafter，只需一到两步流步骤即可完成起草，而非从噪声生成所需的多次去噪。在 Qwen3.5 模型上、相同 drafter 规模与训练数据下，其在 vLLM 中分别比 EAGLE-3 和 DFlash 快 39% 和 11%，顺序适配新语言时优势进一步扩大。
推荐理由模型分析
ChainFlow 把投机解码的草稿阶段改为在目标模型隐状态上做一两步流匹配传输，并用变分自编码器压缩隐状态、轻量反馈头恢复 token 间依赖、树状草稿提高接受率，针对的是自回归草稿成本随长度增长、扩散草稿忽略依赖这两类瓶颈。在 Qwen3.5 上、草稿器规模与训练数据对齐时，vLLM 中比 EAGLE-3 和 DFlash 分别快 39% 和 11%，顺序适配新语言时优势扩大。做 LLM 推理加速的开发者可据此比较草稿器设计与多语言适配条件，但结论限于该模型与实验设置。
来源：arXiv Artificial Intelligence · arxiv.org