跳到正文
arXiv Artificial Intelligence· Keisuke Kamahori, Shihang Li, Simon Peter, Baris Kasikci·· 18 小时前AI 评分47

VibeServe:AI 智能体能否构建定制化 LLM 服务系统?

VibeServe: Can AI Agents Build Bespoke LLM Serving Systems?

AI 导读

VibeServe 是首个端到端生成完整 LLM 服务栈的智能体循环,通过外层循环规划搜索系统设计、内层循环实现候选方案并验证正确性与性能。在标准场景下,它在 Llama-3.1-8B 上匹配 vLLM 和 SGLang,并在四块 AMD MI300A 上为 397B MoE 模型实现调优 SGLang 2.3 倍的 goodput。

来源:arXiv Artificial Intelligence · arxiv.org