Lineare Skalierung erreicht mit mehreren DeepSeek v3.1 Instanzen. 4x Macs = 4x Durchsatz. 2x M3 Ultra Mac Studios = 1x DeepSeek @ 14 tok/sec 4x M3 Ultra Mac Studios = 2x DeepSeek @ 28 tok/sec DeepSeek V3.1 ist ein 671B Parameter Modell - bei seiner nativen 8-Bit Quantisierung benötigt es ~700GB Speicher, um das Modell auszuführen. EXO verteilt die Hälfte der Schichten auf jedes Gerät und kombiniert deren Speicher. EXO verwendet MLX verteilt mit TB5 Interconnect, optimiert für Apple Silicon. Wenn wir einen höheren Durchsatz benötigen, ermöglicht das Hinzufügen von zwei weiteren Geräten, mehr Benutzer gleichzeitig zu bedienen. @exolabs kümmert sich nahtlos um all dies - fügt dem Cluster mehr Geräte für lineare Skalierung hinzu, wenn wir es benötigen. Das neue EXO 1.0 wird bald Open Source seinTM