arXiv Artificial Intelligence· Wenjie Huang, Jun Zhang, Hongyaoxing Gu, Haoyang Huang, Tianqi Xu, Xinyue Hao, Xinyi Hu, Xinle Du, Jun Dai, Shuang Ge, Chen Lei, Yue Li, Mingcheng Wan·· 17 小时前AI 评分31
Raincheck：面向多轮 MLLM 推理的延迟多模态预填充框架
Raincheck: Deferred Multimodal Prefill for Efficient Multi-Turn MLLM Inference
AI 导读
Raincheck 通过延迟多模态预填充，将初始 token 选择与后续信息可用性解耦：先用现有剪枝方法选出初始预填充 token，再利用解码阶段的闲置算力按源顺序渐进预填充未选中的 token。
来源：arXiv Artificial Intelligence · arxiv.org