Penskalaan linier dicapai dengan beberapa instans DeepSeek v3.1. 4x mac = throughput 4x. 2x M3 Ultra Mac Studios = 1x DeepSeek @ 14 tok/detik 4x M3 Ultra Mac Studios = 2x DeepSeek @ 28 tok/detik DeepSeek V3.1 adalah model parameter 671B - jadi pada kuantisasi 8-bit aslinya, dibutuhkan memori ~700GB untuk menjalankan model. EXO menempatkan setengah dari lapisan pada setiap perangkat, menggabungkan memori mereka. EXO menggunakan MLX yang didistribusikan dengan interkoneksi TB5, yang dioptimalkan untuk Apple Silicon. Jika kita membutuhkan throughput yang lebih tinggi, menambahkan dua perangkat lagi memungkinkan kita melayani lebih banyak pengguna sekaligus. @exolabs menangani semua ini dengan mulus - menambahkan lebih banyak perangkat ke kluster untuk penskalaan linier sesuai kebutuhan. EXO 1.0 baru akan segera menjadi sumber terbukaTM