通过多个 DeepSeek v3.1 实例实现线性扩展。4倍的 Mac 计算能力 = 4倍的吞吐量。 2台 M3 Ultra Mac Studio = 1个 DeepSeek @ 14 tok/sec 4台 M3 Ultra Mac Studio = 2个 DeepSeek @ 28 tok/sec DeepSeek V3.1 是一个 671B 参数模型 - 因此在其原生的 8 位量化下，运行该模型需要大约 700GB 的内存。EXO 将一半的层放在每个设备上，结合它们的内存。EXO 使用 MLX 分布式与 TB5 互连，针对 Apple Silicon 进行了优化。 如果我们需要更高的吞吐量，增加两个设备可以让我们同时服务更多用户。@exolabs 无缝处理这一切 - 根据需要将更多设备添加到集群以实现线性扩展。 新的 EXO 1.0 将很快开源TM