arXiv Artificial Intelligence· Boyuan Yang, Wei Gao·· 20 小时前AI 评分29
SchemaWeaver:用 schema 引导并行解码加速端侧移动智能体 AI
SchemaWeaver: Accelerating On-Device Mobile Agentic AI via Schema-Guided Parallel LLM Decoding
AI 导读
SchemaWeaver 是一种端侧移动智能体 AI 技术,在 LLM 工具调用的解码阶段引入 schema 引导的并行解码,每次解码生成多个 token 以降低延迟。它无需训练或修改 LLM 即可接入移动端推理引擎,在主流移动 SoC 和 LLM 系列上相比竞品基线最高降低 3.9 倍工具调用延迟。
来源:arXiv Artificial Intelligence · arxiv.org