跳到正文
arXiv Artificial Intelligence· Leming Shen, Qiang Yang, Xinyu Huang, Zijing Ma, Yuanqing Zheng·· 3 小时前AI 评分34

AgentDP:面向异构嵌入式 AI 应用的自动化模型部署

AgentDP: Towards Automated Model Deployment for Heterogeneous Embedded AI Applications

AI 导读

AgentDP 用 LLM 智能体全自动完成预训练 AI 模型在异构嵌入式设备上的优化与适配,模型适配总耗时相比人工方式最多减少 80%,任务准确率平均高出基线 13% 以上。该框架包含用户需求标准化模块、算子感知的模型切分范式(让模型不同部分在不同推理引擎上执行)以及复用历史超参配置的配置复用模块。用户研究显示其能适应异构嵌入式设备上的不同用户需求。

来源:arXiv Artificial Intelligence · arxiv.org