Apple Machine Learning Research·· 20 小时前精选AI 评分71
Apple 用 MLX 与 RDMA 在 Mac Studio 上实现本地与分布式大模型推理
Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio
AI 导读
Apple 介绍如何用最新版 MLX 在 Mac Studio 上运行前沿大模型，包括近万亿参数的 Muse Spark Open。
推荐理由
原文给出 MLX 在 Mac Studio 上单机与多机并行推理的实测数据与命令，可作本地大模型部署选型参考。
来源：Apple Machine Learning Research · machinelearning.apple.com