Raincheck：延迟多模态预填充框架

2026年10月30日，arXiv 人工智能板块刊出 Wenjie Huang 等作者的论文，提出 Raincheck 延迟多模态预填充框架，用于多轮 MLLM 推理。该框架将初始 token 选择与后续信息可用性解耦：先用现有剪枝方法选出初始预填充 token，再利用解码阶段的闲置算力，按源顺序渐进预填充未选中的 token。实验方面，作者在 Qwen3-VL-8B 与 Qwen3.5-9B 上以 30% 初始多模态 token 保留率进行评估；在 MultiVerse 上，SGLang 实现相较完整预填充将首轮平均 TTFT 最多降低 24.1%，同时每个输出 token 的平均耗时（TPOT）增幅低于 0.5%。目前进展限于论文发布与上述基准结果，尚无后续跟进报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。