Tăng cường quy mô tuyến tính đạt được với nhiều phiên bản DeepSeek v3.1. 4x macs = 4x thông lượng. 2x M3 Ultra Mac Studios = 1x DeepSeek @ 14 tok/giây 4x M3 Ultra Mac Studios = 2x DeepSeek @ 28 tok/giây DeepSeek V3.1 là một mô hình 671B tham số - vì vậy ở mức định lượng 8-bit gốc của nó, nó yêu cầu ~700GB bộ nhớ để chạy mô hình. EXO đặt một nửa số lớp trên mỗi thiết bị, kết hợp bộ nhớ của chúng. EXO sử dụng MLX phân tán với kết nối TB5, tối ưu hóa cho Apple Silicon. Nếu chúng ta cần thông lượng cao hơn, việc thêm hai thiết bị nữa cho phép chúng ta phục vụ nhiều người dùng hơn cùng một lúc. @exolabs xử lý tất cả điều này một cách liền mạch - thêm nhiều thiết bị vào cụm để tăng cường quy mô tuyến tính khi chúng ta cần. EXO 1.0 mới sẽ sớm trở thành mã nguồn mởTM