跳到正文
arXiv Artificial Intelligence· Guangyu Feng, Huanzhi Mao, Prabal Dutta, Joseph E. Gonzalez·· 19 小时前AI 评分34

AsyncFC:无需改动模型,用 Future 实现 LLM 异步函数调用

Concurrency without Model Changes: Future-based Asynchronous Function Calling for LLMs

AI 导读

AsyncFC 是一个纯执行层框架,将 LLM 解码与函数执行解耦,在依赖允许时实现模型解码与函数执行的并行以及函数间并行,且无需微调或修改标准同步函数调用协议。在编码任务上,AsyncFC 取得 1.4 倍端到端加速并保持任务准确率。结果还显示,LLM 具备对表示未完成执行结果的符号 Future 进行推理的原生能力。

来源:arXiv Artificial Intelligence · arxiv.org