Apple Machine Learning Research·· 21 小时前AI 评分48
MLX 与 RDMA 在 Mac Studio 上实现本地与分布式大语言模型推理
Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio
AI 导读
苹果 MLX 框架结合 RDMA over Thunderbolt 驱动，可在 Mac Studio 集群上高效运行前沿大语言模型。在四台 Mac Studio 集群上，8160 亿参数的 Muse Spark Open 模型能以每秒超过 36 个 token 的速度生成文本。
来源：Apple Machine Learning Research · machinelearning.apple.com