IT之家·· 2 小时前AI 评分42
英特尔推出 Intel Inference Microservices:面向四至六代至强处理器的推理微服务
英特尔面向四至六代至强处理器推出推理微服务:自动检测硬件并配置 vLLM 参数
AI 导读
英特尔推出 Intel Inference Microservices,一套面向大语言模型推理的容器化微服务方案,首批版本基于 vLLM 引擎、支持 BF16 精度,可在 Docker 或 Kubernetes 1.24 及以上环境运行,硬件要求为第四代、第五代或第六代英特尔至强处理器,建议配置 32GB 内存。
来源:IT之家 · ithome.com