arXiv Artificial Intelligence· Guangyu Feng, Huanzhi Mao, Prabal Dutta, Joseph E. Gonzalez·· 19 小时前AI 评分34
AsyncFC:无需改动模型,用 Future 实现 LLM 异步函数调用
Concurrency without Model Changes: Future-based Asynchronous Function Calling for LLMs
AI 导读
AsyncFC 是一个纯执行层框架,将 LLM 解码与函数执行解耦,在依赖允许时实现模型解码与函数执行的并行以及函数间并行,且无需微调或修改标准同步函数调用协议。在编码任务上,AsyncFC 取得 1.4 倍端到端加速并保持任务准确率。结果还显示,LLM 具备对表示未完成执行结果的符号 Future 进行推理的原生能力。
来源:arXiv Artificial Intelligence · arxiv.org