Лінійне масштабування досягається за допомогою кількох екземплярів DeepSeek v3.1. 4 комп'ютери Mac = 4x пропускна здатність. 2x M3 Ultra Mac Studios = 1x DeepSeek @ 14 ток/сек 4x M3 Ultra Mac Studios = 2x DeepSeek @ 28 ток/сек DeepSeek V3.1 є моделлю з параметрами 671B, тому при рідній 8-бітній квантуванні їй потрібно ~700 ГБ пам'яті для роботи моделі. EXO розміщує по половині шарів на кожному пристрої, об'єднуючи їх пам'ять. EXO використовує MLX, розподілений з міжмережевим з'єднанням TB5, оптимізований для Apple Silicon. Якщо нам потрібна більша пропускна здатність, додавання ще двох пристроїв дозволяє обслуговувати більше користувачів одночасно. @exolabs справляється з усім цим бездоганно - додаючи до кластера більше пристроїв для лінійного масштабування в міру того, як нам це потрібно. Новий EXO 1.0 скоро буде з відкритим вихідним кодомTM