Mise à l'échelle linéaire réalisée avec plusieurs instances de DeepSeek v3.1. 4x macs = 4x débit. 2x M3 Ultra Mac Studios = 1x DeepSeek @ 14 tok/sec 4x M3 Ultra Mac Studios = 2x DeepSeek @ 28 tok/sec DeepSeek V3.1 est un modèle de 671 milliards de paramètres - donc à sa quantification native de 8 bits, il nécessite environ 700 Go de mémoire pour exécuter le modèle. EXO répartit la moitié des couches sur chaque appareil, combinant leur mémoire. EXO utilise MLX distribué avec interconnexion TB5, optimisé pour Apple Silicon. Si nous avons besoin d'un débit plus élevé, ajouter deux appareils supplémentaires nous permet de servir plus d'utilisateurs en même temps. @exolabs gère tout cela de manière transparente - ajoutant plus d'appareils au cluster pour une mise à l'échelle linéaire selon nos besoins. Le nouveau EXO 1.0 sera bientôt open-sourceTM