Cukup liar bahwa kami mulai mengerjakan MLX sebelum ChatGPT ada. Rasanya sudah lama ChatGPT keluar. Dan waktu yang singkat kami telah membangun MLX. Sulit untuk mendamaikan keduanya.

Menjalankan empat agen OpenCode + subagen tingkat tinggi dengan batching berkelanjutan mlx_lm.server dan MiniMax M2.5 (6-bit). Mudah dipasang pada M3 Ultra 512GB. Pembangkitannya cukup cepat. Namun prefill masih lambat dibandingkan dengan server cloud.

Ini adalah dua tren penting dalam AI: - Kecerdasan puncak meningkat - Intelijen per watt (IPW) meningkat Berkat menumbuhkan pembilang dan mengecilkan penyebut, saya pikir IPW berubah lebih cepat. Saya mendengar banyak diskusi tentang yang pertama, tetapi tidak sebanyak yang kedua. Dan fakta bahwa keduanya terjadi secara bersamaan membuatnya jauh lebih sulit untuk memprediksi seperti apa AI dalam 2-5 tahun.