arXiv Artificial Intelligence· Keisuke Kamahori, Shihang Li, Simon Peter, Baris Kasikci·· 18 小时前AI 评分47
VibeServe:AI 智能体能否构建定制化 LLM 服务系统?
VibeServe: Can AI Agents Build Bespoke LLM Serving Systems?
AI 导读
VibeServe 是首个端到端生成完整 LLM 服务栈的智能体循环,通过外层循环规划搜索系统设计、内层循环实现候选方案并验证正确性与性能。在标准场景下,它在 Llama-3.1-8B 上匹配 vLLM 和 SGLang,并在四块 AMD MI300A 上为 397B MoE 模型实现调优 SGLang 2.3 倍的 goodput。
来源:arXiv Artificial Intelligence · arxiv.org