arXiv Artificial Intelligence· Haomiao Qiu, Yining Tang, Zijia Song, Ruizi Han, Ziyue Qiao, Miao Zhang·· 18 小时前AI 评分27
CacheLink:面向零预填充跨模型上下文交接的功能性 KV 传输
CacheLink: Functional KV Transport for Zero-Prefill Cross-Model Context Handoff
AI 导读
CacheLink 通过直接学习接收方行为下的耦合 K/V 校正,实现零预填充的跨模型上下文交接。在四组独立训练的发送方-接收方模型对和七个评测面板上,CacheLink 在所有方法中取得最高等权平均分;在 32K 上下文下,交接延迟相比接收方重新预填充最多降低 7.27 倍。研究发现 K/V 重建保真度并不能代表接收方效用,保持传输缓存所诱导的接收方计算才是关键。
来源:arXiv Artificial Intelligence · arxiv.org