透過多個 DeepSeek v3.1 實例實現線性擴展。4倍的 Mac 計算能力 = 4倍的吞吐量。 2台 M3 Ultra Mac Studio = 1個 DeepSeek @ 14 tok/sec 4台 M3 Ultra Mac Studio = 2個 DeepSeek @ 28 tok/sec DeepSeek V3.1 是一個 671B 參數模型 - 因此在其原生的 8 位量化下，運行該模型需要大約 700GB 的內存。EXO 將一半的層放在每個設備上，結合它們的內存。EXO 使用 MLX 分佈式與 TB5 互連，針對 Apple Silicon 進行了優化。 如果我們需要更高的吞吐量，增加兩個設備可以讓我們同時服務更多用戶。@exolabs 無縫處理這一切 - 根據需要將更多設備添加到集群以實現線性擴展。 新的 EXO 1.0 將很快開源TM